日军占领香港后，夷平了踎前的房屋，收地兴建马路和大坑渠(编按: 启德明渠)，吴鸿安跟父母和兄弟搬到宋王台附近的国华布厂，居住环境不如今天的劏房，村民搬床或床板到布厂，没有房间的分配，成人入睡时要拉布帐。后来吴鸿安家又搬入启仁道的战前唐楼，楼高三层，柱趸四条，内有厨房及厕所。当时母亲替日军做清洁工，负责铺草皮、割草喂马、清理马屎等，她外出工作时，留下3个儿子在家，7岁的吴鸿安自行煲粥，他拿着热粥上楼梯时，不慎被粥烫伤双脚。不足1年启仁道的唐楼拆卸，他们家被安配搬往九龙塘模范村。父亲种菜的收成少，偶然替日军做清洁工，生活环境很恶劣。