吴瑞权步入中年後，频密返港回味衙前围的兄弟情。自1971年他便没有再回港，直至1991年离婚後才每年回乡，早期每年返港2次；近年改为1年1次，主要是探望回港工作的女儿，儿子则在苏格兰成家和工作。他大多在10月回港，入秋後天气怡人，同时趁重阳节到祠堂祭祖。返港时他找吴肇基等兄弟聚会，大家喜欢到内地娱乐减压。吴瑞权长年远离香港，有点怀念乡下，因衙前围有600年历史，而且自己在村土生土长，有不少童年玩乐的回忆，他最怀念的是兄弟情。他赞成衙前围的重建方案，令妈庙(天后宫)和村屋得以保留，日後可回忆往事。