吴耀辉一家在1972年迁出衙前围，搬到土瓜湾的自置物业，大厦有升降机。当时吴耀辉及兄弟已长大，家里没有厕所不方便。他认为搬屋初时感觉新鲜，毋须上公厕。当时他对祖屋没有很不舍，今天的想法没有改变。他认为因政府不容许祖屋拆卸重建，否则他们不会搬走。祖母初时舍不得祖屋，坚持留下，几年後不慎跌伤，无法自理，才搬往土瓜湾与儿孙同住。搬出後3巷尾和5巷的屋租出，几年後祖屋失修倒塌，幸塌屋前租客已搬走；5巷的租客是对面木屋的住客，因家中子女众多，便向耀辉父母租屋，租金约120元，算是十分便宜，一租便几十年了。