近年衙前围面临清拆和重建，村的变化很大，吴耀辉每次回来感慨良多，村屋一间接一间清拆，村内已没有相熟的人。他最不舍的是昔日的人情味，跟叔伯丶阿姑丶阿姨一同生活很舒服，但随着自己年纪渐长，便觉得环境越来越不方便，例如不能像小孩般随处小便，打风落雨时又怕塌屋，但总体而言未算很不舍。他同意政府的保育计划，令下一代有机会知道围村面貌，他家族的其中一间祖屋获保留，日後改造成博物馆之类。