吴瑞武属于衙前围吴氏二房，从小被长辈灌输一些房的意识。吴氏分为四大房，共同追认吴成达祖为总太公，每年各房轮流主持祭祖。二房的成员只拜成达祖一位太公，不像第四房的人有多位太公。第四房人丁和物业最多，长房、二房和三房没有物业。幼时吴瑞武听闻有二房妇女发脾气，抱怨谓「四房仔呃晒大佬钱」(编按: 四弟把3位兄长的财产全部吞掉)，意即十一世四兄弟中，三位哥哥长期出外谋生，幼弟在家看守祖业，管理物业买卖，父逝时3兄弟返家，已不清楚物业归属，悉数由幼子继承，导致各房财产分配不均。吴瑞武只当作笑话看待，并无考究此说法。