吴氏二房原来在石鼓垄村定居，日治时期因拆村导致族人散失。战前吴武瑞在石鼓垄村出生，祖父有几间祖屋，该村有6伙人属衙前围吴氏的二房，其中4伙是吴瑞武的叔伯，彼此关系密切，过时过节互相拜访。他小时候不了解亲疏关系，不知大家有共同的祖先。日治时期石鼓垄村民被当局安置往谭公道，入住没有门窗的旧唐楼。随后吴瑞武一家搬入衙前围，二房的族人各散东西。战后母亲从英政府收得石鼓垄村祖屋的赔偿，吴瑞武兄弟年纪尚小，没有参与交涉。二房成员在祭祖时会面，但现时族人分散居住，关系较昔日疏离，甚少祭祖和见面。