吳耀輝一家在1972年遷出衙前圍，搬到土瓜灣的自置物業，大廈有升降機。當時吳耀輝及兄弟已長大，家裡沒有廁所不方便。他認為搬屋初時感覺新鮮，毋須上公廁。當時他對祖屋沒有很不捨，今天的想法沒有改變。他認為因政府不容許祖屋拆卸重建，否則他們不會搬走。祖母初時捨不得祖屋，堅持留下，幾年後不慎跌傷，無法自理，才搬往土瓜灣與兒孫同住。搬出後3巷尾和5巷的屋租出，幾年後祖屋失修倒塌，幸塌屋前租客已搬走；5巷的租客是對面木屋的住客，因家中子女眾多，便向耀輝父母租屋，租金約120元，算是十分便宜，一租便幾十年了。