祖父先後娶過4名妻子續弦。第一位太太生博剛的大姑媽、二姑媽和大伯；第二位太太姓陳，南丫島人，生博剛的三姑媽。第三位太太姓王/黃，井欄樹人，生博剛的父親，是博剛的正式祖母。第四位太太生博剛的兩位叔父和兩位姑姐，叔父比博剛還年幼1歲。博剛大伯在九龍華仁書院畢業，任職警察部的翻譯(俗稱「師爺」)。大伯有兩位太太，首位太太生一子三女；第二位太太住在錦田，生一子二女，當地亦有一條「吳家村」。大伯與首位太太結婚後住旺角西菜洋街。堂兄小學畢業後輟學，後來加入警察部，退休後移民美國。博剛見過大伯第二位太太的兩個女兒，她們曾到衙前圍參觀打醮，跟其他叔伯見面。博剛沒有見過早夭的二伯。 父親生於1928年，是家中排第三的男丁。小學畢業後，入讀大同中學，中一時香港淪陷，輟學後做過電器學徒，後在中華電力公司負責維修和鋪設電線。母親原籍南海，戰時從內地來港，她較父親年長2歲，生5名子女。博剛中學會考後投考公務員，1971年入職，從事物流的職位。二弟在英華中學預科畢業，隨後投考公務員，1970年入職。三弟在無線電視第8期訓練班畢業，扮演一些2、3線的角色。家有兩位妹妹，但家中重男輕女，女兒要謀生養家，供家中的男丁讀書。