吴佛全从小跟南丫岛的同房族人关系密切。吴翰高祖一房在南丫岛大坪村有一条分支，族人受传统文化影响，通过打醮和拜山认祖归宗，维持跟衙前围的关系。吴佛全与南丫岛的族人同属一房，他小时很顽皮和沙胆，1949至1951年在乐善堂学校读书期间，放暑假他便独自到南丫岛玩乐，在大坪村留宿一晚，住过吴水根和吴有喜的大屋。有喜热情招待他，不嫌他家贫穷，带他到榕树湾游水，又驶船出海捉鱼给他吃，两家的乡情维系至今。南丫岛的族人有屋有船，在族中算是有钱人。