1956年吳耀輝生於香港，1972年才遷出衙前圍。他出生時祖父已逝世，祖母50多歲，年青時從附近鄉村嫁入衙前圍。父親在五兄弟中排第二，耀輝的伯父和一名叔父早夭，有五叔、七叔和姑姐。五叔和七叔自小住衙前圍，1960年代透過族人介紹，以「賣豬仔」形式去英國打工，定居當地。當年賣豬仔很簡便，只要當地有親人，很容易申請工作證，吳氏很早已有在英國，聽說是坐輪船前往。父親在英皇或華仁等的公立學校讀書，中學畢業從事文職工作，退休前在香港飛機工程公司任文員約有20年，1980年代初退休。父母養育3子，算是小康之家。父親在圍村長大，母親是客家人，典型的家庭主婦，每逄假期，耀輝跟母親到土瓜灣的娘家探望外婆。