吳瑞武家族遭逢戰禍，導致無法追溯祖先。戰前石鼓壟村有兩排房屋，約有30戶村民，村民姓吳和姓車(衙前圍亦有車姓)，大部份姓吳，當中又以二房(東玄祖)為主，包括吳瑞武的家族。石鼓壟村有一個水井，衙前圍吳氏宗祠亦有水井，但衙前圍井水不夠時，村民亦過來石鼓壟村取水。日本佔香港後吳瑞武一家要走難，遺失了記載祖先資料的文件，令他們無法追溯遠祖，後來吳氏族譜的編寫人不肯定他們的祖先是否姓吳。他年幼時無力解釋，但不少兄弟都承認他同宗的身份。