吴世明在农村家庭长大，祖父有两位妻子，正室姓袁，来自蠔涌的蛮窝村，生吴世明的伯父和父亲，她在吴世明父亲7岁时便去世；继室是姓彭的粉岭人，只生一名女儿。吴世明4岁时衙前围村举行打醮，祖父继室背着他看木头公仔戏。到他10、11岁时，父亲间中带他到粉岭探望继室的弟弟，吴世明最欣赏粉岭村民所做的白糖饼，他们以耕种维生，曾向世明一家送赠蕃薯和芋头之类的农作物。当年沙埔村民不论在衣著打扮或生活方式，跟新界乡村都大同小异。