1980年代中期吴肇基家族在衙前围拥有3间屋。当年乡长李富的朋友是开了一间地产公司，该公司有意收购衙前围的村屋，由于他与李富相熟，愿意开出特惠条件，业主卖屋后可免租留屋居住，直至衙前围村清拆。肇基母亲相信李富，认为开出的条件优厚，答应出售3间屋。李富和吴肇基两家在1986年已卖屋，是最早跟地产商成交的村民，由于得到特惠条件，他们不愿宣扬卖屋的事，亦不知道其他村民卖屋的情况。1990年母亲因病离世，大姑妈不久亦离世。1995至1996年吴肇基二弟和三弟先后移民加拿大，临行前4兄弟开会，一致认为已卖出的3间屋已无必要保留，决定将3间屋交吉，最终顺利完成交易。