吳耀輝家族在衙前圍有3間屋，位於3巷8號、3巷尾和5巷，其中3巷8號已有逾百年的歷史。3間屋由祖父傳下，家人一直稱為祖屋，業權由父親和兩位阿叔分享。衙前圍一間屋大多是200呎長、100呎闊，分為「九坑瓦」、「十一坑瓦」、「十三坑瓦」幾種。3巷8號祖屋是完整一間，3巷尾的屋只佔半分地，旁邊半分地由堂叔擁有。5巷的屋亦是半間，另外半分地由祖母的親戚佔有。3間祖屋是「揰泥屋」，即以參差的麻石砌牆身，再在石隙揰泥或英坭，不算正宗的石屋。(編按: 一整間屋佔一分地，面積有200呎長、100呎闊；半間屋只佔半分地。)