吳瑞武生於衙前圍庇鄰的石鼓壟村，家族有大屋和田地。祖輩和父輩有不少家庭成員，家族在石鼓壟有幾間幾進的大屋，較衙前圍的村屋大，前進是爐灶，後面是廳，再後是房和閣仔，另有曬穀地和豬屋。吳瑞武與祖父、母親和兄弟姐妹同住，祖父睡在廳中；他有幾位姑姐，祖母住在大姑姐家，大姑姐跟丈夫在石鼓壟旁種花，母親有時不能抽身照顧全部子女，吳瑞武便跟祖父去姑姐家食飯，祖父毋須工作。母親在家族的田地務農，吳瑞武間中幫忙農活，田地在日治時代被徵用。