1956年吴耀辉生於香港，1972年才迁出衙前围。他出生时祖父已逝世，祖母50多岁，年青时从附近乡村嫁入衙前围。父亲在五兄弟中排第二，耀辉的伯父和一名叔父早夭，有五叔丶七叔和姑姐。五叔和七叔自小住衙前围，1960年代透过族人介绍，以「卖猪仔」形式去英国打工，定居当地。当年卖猪仔很简便，只要当地有亲人，很容易申请工作证，吴氏很早已有在英国，听说是坐轮船前往。父亲在英皇或华仁等的公立学校读书，中学毕业从事文职工作，退休前在香港飞机工程公司任文员约有20年，1980年代初退休。父母养育3子，算是小康之家。父亲在围村长大，母亲是客家人，典型的家庭主妇，每逄假期，耀辉跟母亲到土瓜湾的娘家探望外婆。