吴志荣在清贫的大家庭成长。当年衙前围有不少一夫多妻的家庭，例如吴志荣、吴志荣妹夫和江先生等，他们都有两位母亲和众多兄弟姐妹。吴志荣的家人都不计较「正室」、「妾侍」的身份，只有姑妈视吴志荣的生母为正室。吴志荣童年家贫，家中成人都为喂饱众多小孩而费心，没有机会发生磨擦。吴志荣从不计较亲疏，他投身工作后，将工资交给细妈调度，因她经常在家照顾小孩。