吳博剛在1951年出生，懂事時已在九龍城居住。據說戰前剛博家在衙前圍有兩間屋，與吳展鴻家的房屋庇鄰，兩間屋在日治時期賣出；家族另有不少田地出租，但因長輩坐吃山崩，田產漸漸失去了。博剛祖父在皇仁書院讀書，畢業後沒有工作，靠收地租、耕田和養豬過活。祖父算是兩手悠悠的「二世祖」，祖母負擔全部家事和農活。祖父在村民中讀書較多，他可能自視較高，住在衙前圍的外圍。博剛小時候經常探望祖父，其住所位於東頭村附近的中心南街。博剛認為家裡長輩是讀書人，不願過問村事和族事，很少跟村民來往，但村中如有要事，村民會找祖父決策。圍內讀書人地位高，祖父又是長輩，在村內有無上權威，村民對祖父不敢有微言。祖父主張在新祠堂(編按: 即今日的吳氏宗祠)後面的空地租給士多舖或水果舖，租金歸他本人，如是者收租數十年。祖父在1975/1976年過世後，改由父親收租。後來村事的透明度提高，有人提出異議，租金其後歸公，但每月仍撥數百元作博剛祖母的生活費。