吴氏宗祠原位于5604地段，占地约9千尺(21分地)，祠堂同时用作办学，约1960年政府征收地段，村中长老吴渭池(同时是海员工会主席)和吴华友(曾参加过长征的红军)反对拆祠堂，两人向广东省省长陈郁申诉，经中英两国辗转交涉后，英政府同意换地和重建宗祠，新地段大部份用作办学(后成立至德公立学校)，惠及周边的适龄学童，学校由吴氏族人与教育司署合办，后者负责办学经费。当年换地的契约是英文，其中有条款规定学校地段只准办学，吴氏先辈不谙英文，不虞有诈而签契。2008年政府杀校，要求收回校地，但只字不提赔偿，吴展鸿认为此乃强抢民地。近年有东头邨居民向区议员反映，谓衙前围重建成住宅大厦后，将形成遮挡风水的屏风楼，吴展鸿反驳此说，他谓衙前围立村300年，昔日方圆两公里是吴、陈、李三姓的田地，因先辈无私奉献土地，七层大厦等公共房屋才得以落成，村民尚未投诉公屋遮挡围村的风水，认为屋邨居民的投诉是分不清「庄」、「闲」之表现。