吴鸿安生于几代同堂、一夫多妻的大家族。他的曾曾祖父吴广业是衙前围5巷15号的业主，其长子吴锦棠是吴鸿安的曾祖父。他在4至5岁时见过曾祖父，相信他当年已超过80岁。吴鸿安记忆中曾拿食物给他，并跟他谈话，他行动不便，没有见过他离床。吴鸿安从父亲口中得知，曾祖父年青时读过书，但相信学历不高，他在九龙黄埔船厂负责派票给签到的员工(编按：类似今天的打卡制度)。曾祖父有2位妻子，大婆姓邓，她是衙前围附近的人；细婆姓张，从广州嫁到九龙。吴鸿安曾与细婆玩乐和说话，曾祖父称她为「淡水婆」，因衙前围是咸水地区，他经常呼喊细婆做事，例如替他拿富户才用的「出恭纸」(厕纸)。