日治时期不少原居民生活艰苦，要贱卖房屋换取几斤米维生，1950年代衙前围已没有多少原居民，房屋大多租给外来人，当中不少人在机场工作，搬入衙前围为方便上班。部份外来居民是内地来港的难民，例如有6丶7伙上海人在村住了很久。当年衙前围治安很好，每晚有人打更直至天明，到1980年代尚有这种制度。某天晚上刚好无人打更，发生了一则趣事：当晚吴鸿安的伯父在门外睡觉，他入睡时眼睛仍睁开，有小偷在犯案时看见了他，吓得躲在他牀下发抖，弄醒了吴鸿安伯父，小偷亦被打了一顿。