吳氏二房原來在石鼓壟村定居，日治時期因拆村導致族人散失。戰前吳武瑞在石鼓壟村出生，祖父有幾間祖屋，該村有6伙人屬衙前圍吳氏的二房，其中4伙是吳瑞武的叔伯，彼此關係密切，過時過節互相拜訪。他小時候不了解親疏關係，不知大家有共同的祖先。日治時期石鼓壟村民被當局安置往譚公道，入住沒有門窗的舊唐樓。隨後吳瑞武一家搬入衙前圍，二房的族人各散東西。戰後母親從英政府收得石鼓壟村祖屋的賠償，吳瑞武兄弟年紀尚小，沒有參與交涉。二房成員在祭祖時會面，但現時族人分散居住，關係較昔日疏離，甚少祭祖和見面。