吳肇基祖父吳潤初(阿公)在衙前圍村極具威嚴，他身型像山東人般高大，人稱「紅毛伯」，動怒時喜歡敲頭打人。祖父先後娶過4名妻子，肇基的兩位姑媽、父親和叔父由第一位妻子所生，肇基沒有見過親生祖母，只從長輩口中聽聞，祖母經常被祖父責打，一生辛勤打理農活和家務，直至去世當日仍然忙碌。肇基對祖父的第二位和第三位太太沒有印象，他小時候只見過第四位「阿婆」，她跟祖父沒有正式成婚，兩人在4巷盡頭居住。祖父教阿婆在屋內煮鴉片煙，阿婆服侍祖父直至他去世，肇基當時只有10多歲。