衙前围是吴、李、陈三姓合建的本地围村，开基祖分别是吴成达祖、李成规祖和陈朝贤祖，3人原居东莞，14世纪末移居九龙城侯王庙附近，15世纪初迁至衙前围现址。清顺治年间朝廷为打击海盗，下令迁界，强迫广东等省份的沿海村民向内陆撤走；衙前围三姓村民依令离开围村，以至村内人口凋零，直至18世纪初三姓村民才返回原址重建围村，于1724年兴建天后宫，成为三姓的共同产业和团结象征。 迁界时不少三姓村民迁往其他村落，例如吴姓往小沥源、李姓往沙角尾、陈姓往衙前塱，族人流散。重返衙前围的村民以吴姓为主，陈、李两族村民只占少数，至香港沦陷前吴姓已占绝大多数，故村内氏族的组织和影响力以吴姓较强，如乡长多由吴姓人出任。20世纪衙前围人口变化更大，三姓村民因就学、求职、移民搬离围村；从1930年代末至1960年代，外来移民大量迁入，部份更买下原居民的房屋，至1970年代外姓居民拥有6成围村物业。虽然原居民不再聚族而居，但年长族人仍然对氏族有强烈的归属认同。