日治時期不少原居民生活艱苦，要賤賣房屋換取幾斤米維生，1950年代衙前圍已沒有多少原居民，房屋大多租給外來人，當中不少人在機場工作，搬入衙前圍為方便上班。部份外來居民是內地來港的難民，例如有6、7伙上海人在村住了很久。當年衙前圍治安很好，每晚有人打更直至天明，到1980年代尚有這種制度。某天晚上剛好無人打更，發生了一則趣事：當晚吳鴻安的伯父在門外睡覺，他入睡時眼睛仍睜開，有小偷在犯案時看見了他，嚇得躲在他牀下發抖，弄醒了吳鴻安伯父，小偷亦被打了一頓。