祖父先后娶过4名妻子续弦。第一位太太生博刚的大姑妈、二姑妈和大伯；第二位太太姓陈，南丫岛人，生博刚的三姑妈。第三位太太姓王/黄，井栏树人，生博刚的父亲，是博刚的正式祖母。第四位太太生博刚的两位叔父和两位姑姐，叔父比博刚还年幼1岁。博刚大伯在九龙华仁书院毕业，任职警察部的翻译(俗称「师爷」)。大伯有两位太太，首位太太生一子三女；第二位太太住在锦田，生一子二女，当地亦有一条「吴家村」。大伯与首位太太结婚后住旺角西菜洋街。堂兄小学毕业后辍学，后来加入警察部，退休后移民美国。博刚见过大伯第二位太太的两个女儿，她们曾到衙前围参观打醮，跟其他叔伯见面。博刚没有见过早夭的二伯。 父亲生于1928年，是家中排第三的男丁。小学毕业后，入读大同中学，中一时香港沦陷，辍学后做过电器学徒，后在中华电力公司负责维修和铺设电线。母亲原籍南海，战时从内地来港，她较父亲年长2岁，生5名子女。博刚中学会考后投考公务员，1971年入职，从事物流的职位。二弟在英华中学预科毕业，随后投考公务员，1970年入职。三弟在无线电视第8期训练班毕业，扮演一些2、3线的角色。家有两位妹妹，但家中重男轻女，女儿要谋生养家，供家中的男丁读书。