衙前圍普遍村民的「祖屋」思想薄弱。吳志榮認為只有祖父輩的原居民才有較強的「祖屋」觀念，例如吳潤初、吳渭池等，父輩年代已有不少外姓人入村買屋，他感覺上收租的外姓人，甚至比吳氏的宗親更多。父輩很少用「祖屋」的字眼，父親原來有一間屋，後來他替人擔保借債，債務人沒有還錢，最終要賣屋代還。吳志榮小時候在村內居無定所，已沒有自己的家，更談不上「祖屋」。