聚居是凝聚吴氏族人的重要力量。吴成达祖原籍东莞，定居九龙衙前围后，分支到沙田、西贡、将军澳和龙鼓滩等乡村，吴瑞武从长辈口中闻说，昔日各地吴氏亲戚有来往，但分支的族人很少回来认祖。衙前围吴氏都视其他乡村的同姓人为亲属，但没有考证血缘关系。兄长吴九行船时与同姓的行家聊天，才发现对方是分支往将军澳的吴成达祖后人。将军澳吴氏属于二房，将军澳与衙前围分属新界和市区，将军澳族人担心如归宗吴成达祖，可能失去丁权。