李富屬於衙前圍李氏的二房，祖父李觀福生三子，長子錦全是李富的父親，李富有一弟名李榮。李富二叔名娶古氏為妻，生一子一女，分別是李貴和李勤。其後古氏因肺癆而殁，二叔續弦娶石澳人王氏，生兩子名李華和李年。香港淪陷前夕，二叔染肺癆病去世。日治時期王氏攜兩子離開，至今失去聯絡；古氏的兩名子女餓死，李富弟弟亦被母親帶走，兩人失去聯絡。李富三叔無後，曾收養一子，但已失去聯絡，李富感嘆童年的伙伴大多已離世。