吳鴻安生於幾代同堂、一夫多妻的大家族。他的曾曾祖父吳廣業是衙前圍5巷15號的業主，其長子吳錦棠是吳鴻安的曾祖父。他在4至5歲時見過曾祖父，相信他當年已超過80歲。吳鴻安記憶中曾拿食物給他，並跟他談話，他行動不便，沒有見過他離牀。吳鴻安從父親口中得知，曾祖父年青時讀過書，但相信學歷不高，他在九龍黃埔船廠負責派票給簽到的員工(編按：類似今天的打卡制度)。曾祖父有2位妻子，大婆姓鄧，她是衙前圍附近的人；細婆姓張，從廣州嫁到九龍。吳鴻安曾與細婆玩樂和說話，曾祖父稱她為「淡水婆」，因衙前圍是咸水地區，他經常呼喊細婆做事，例如替他拿富戶才用的「出恭紙」(廁紙)。