李富属于衙前围李氏的二房，祖父李观福生三子，长子锦全是李富的父亲，李富有一弟名李荣。李富二叔名娶古氏为妻，生一子一女，分别是李贵和李勤。其后古氏因肺痨而殁，二叔续弦娶石澳人王氏，生两子名李华和李年。香港沦陷前夕，二叔染肺痨病去世。日治时期王氏携两子离开，至今失去联络；古氏的两名子女饿死，李富弟弟亦被母亲带走，两人失去联络。李富三叔无后，曾收养一子，但已失去联络，李富感叹童年的伙伴大多已离世。