日軍佔領香港後，夷平了踎前的房屋，收地興建馬路和大坑渠(編按: 啟德明渠)，吳鴻安跟父母和兄弟搬到宋王臺附近的國華布廠，居住環境不如今天的劏房，村民搬床或床板到布廠，沒有房間的分配，成人入睡時要拉布帳。後來吳鴻安家又搬入啟仁道的戰前唐樓，樓高三層，柱躉四條，內有廚房及厠所。當時母親替日軍做清潔工，負責鋪草皮、割草餵馬、清理馬屎等，她外出工作時，留下3個兒子在家，7歲的吳鴻安自行煲粥，他拿着熱粥上樓梯時，不慎被粥燙傷雙腳。不足1年啟仁道的唐樓拆卸，他們家被安配搬往九龍塘模範村。父親種菜的收成少，偶然替日軍做清潔工，生活環境很惡劣。