吴肇基祖父吴润初(阿公)在衙前围村极具威严，他身型像山东人般高大，人称“红毛伯”，动怒时喜欢敲头打人。祖父先后娶过4名妻子，肇基的两位姑妈、父亲和叔父由第一位妻子所生，肇基没有见过亲生祖母，只从长辈口中听闻，祖母经常被祖父责打，一生辛勤打理农活和家务，直至去世当日仍然忙碌。肇基对祖父的第二位和第三位太太没有印象，他小时候只见过第四位“阿婆”，她跟祖父没有正式成婚，两人在4巷尽头居住。祖父教阿婆在屋内煮鸦片烟，阿婆服侍祖父直至他去世，肇基当时只有10多岁。