衙前围的围门有多条石桥凳，午饭後不少阿婆聚集讲是非，或在石凳上午睡。吴瑞权祖母疼爱他，不准他到处跑，揽住他在石凳上睡觉。吴展鸿祖母经常向他抱怨，说他们两婆孙霸占石凳。吴瑞权小时不喜欢读书，放学便放低书包出去玩，只临急抱佛急温习。母亲不管促他读书，祖母只叮嘱他不要弄伤，只要父亲严厉监督。每晚8点父亲问他当天上课内容，答不出便用藤条鞭打，直至11点才放他睡觉，祖母有时从楼上落来劝说: 「畀渠训觉，唔好读罗！」瑞权是家中长子，父亲对他特别厉格。