吴瑞武家族遭逢战祸，导致无法追溯祖先。战前石鼓垄村有两排房屋，约有30户村民，村民姓吴和姓车(衙前围亦有车姓)，大部份姓吴，当中又以二房(东玄祖)为主，包括吴瑞武的家族。石鼓垄村有一个水井，衙前围吴氏宗祠亦有水井，但衙前围井水不够时，村民亦过来石鼓垄村取水。日本占香港后吴瑞武一家要走难，遗失了记载祖先资料的文件，令他们无法追溯远祖，后来吴氏族谱的编写人不肯定他们的祖先是否姓吴。他年幼时无力解释，但不少兄弟都承认他同宗的身份。