吴瑞武生于衙前围庇邻的石鼓垄村，家族有大屋和田地。祖辈和父辈有不少家庭成员，家族在石鼓垄有几间几进的大屋，较衙前围的村屋大，前进是炉灶，后面是厅，再后是房和阁仔，另有晒谷地和猪屋。吴瑞武与祖父、母亲和兄弟姐妹同住，祖父睡在厅中；他有几位姑姐，祖母住在大姑姐家，大姑姐跟丈夫在石鼓垄旁种花，母亲有时不能抽身照顾全部子女，吴瑞武便跟祖父去姑姐家食饭，祖父毋须工作。母亲在家族的田地务农，吴瑞武间中帮忙农活，田地在日治时代被征用。