吴瑞武在农村出生，童年生活朴素。他自小帮母亲淋菜、拔草，早上摘菜带往市场出售。当年小童的娱乐较单调，玩的是自制玩具，男童的玩意有打波仔、游泳、放风筝、抓纸、拍公仔纸等，女孩跳橡筋绳和跳飞机。成人每天辛勤劳动，晚上唱山歌作乐。当时没有电力，村民点灯照明，家家户户8点多便入睡，翌日天亮便起床。他庆幸自己和同伴没有学坏。