吴世明从曾祖母身上听闻九龙城的故事，曾祖母苏氏是苏屋村人，21岁时嫁给吴世明曾祖父，当年九龙城寨正在兴建，筑城的石头来自延文礼士山(今九龙仔公园)，城寨的后山则没有开采，留下来保护城围。吴世明母亲跟吴世明伯婆都姓陈，两人十分相熟，伯婆从吴世明曾祖母听了不少故事，又向吴世明母亲详尽讲述，母亲又将故事转述给儿子。吴世明指出衙前围的历史比城寨久远多了，他强调“衙前围”的得名与城寨无关。衙前围重建时原名“庆有馀”，嘉庆年间清朝在村的后面建立官署徵收粮饷，村民便称此地为“官营”，新界乡民出九龙时，看见“官营”这个衙门，便把前方的村称为“衙前围”。