吳瑞武在農村出生，童年生活樸素。他自小幫母親淋菜、拔草，早上摘菜帶往市場出售。當年小童的娛樂較單調，玩的是自製玩具，男童的玩意有打波仔、游泳、放風箏、抓紙、拍公仔紙等，女孩跳橡筋繩和跳飛機。成人每天辛勤勞動，晚上唱山歌作樂。當時沒有電力，村民點燈照明，家家戶戶8點多便入睡，翌日天亮便起床。他慶幸自己和同伴沒有學壞。