吳鴻安父親原來是長房(廣玄祖)的後人，約7、8歲時過繼至四房(日玄祖)，新的家族屬四房的分支翰高祖。當年過繼並不普遍，有些家庭子女眾多，父母無力撫養，便送子女過繼，讓他們改善生活。長房和四房有共同的總太公，父親即使過繼，仍跟長房的家人有來往，但不參與長房的分產和祭祖。吳鴻安沒有見過親祖父，親祖母是沙田人，他亦父親聽聞親祖父子女的情況。吳鴻安與長房叔父帝興相熟，帝興比他年長約10歲，曾帶着年幼的他遊玩和飲茶。和平後帝興曾是軍部的「咕哩No.1」，後來赴英國謀生和定居，他的長子瑞權回港頻密，每年回村祭祖，偶然跟其弟回村參與打醮。