吳耀輝,1956年生於衙前圍,衙前圍吳氏廿八世後人,屬於吳仕高祖一房。生於小康之家,家族擁有3間祖屋。父親是香港飛機工程公司的文員,母親是家庭主婦。父親積極參與氏族和圍村的職務,出任吳日玄祖、吳仕高祖的司理。吳耀輝在圍村長大,1972與家人遷離圍村。初中畢業後他考入東南無線電專科學校,離校後他到啟德機場工作,任職航空公司餐飲部至今。1990年代中期,家人移民加拿大,獨自留港的吳耀輝萌生承傳祖宗的想法,開始參與族務。2007年出任仕高祖司理,代表本房參與吳位榮祖吳日玄祖有限公司的營運,同時協助衙前圍鄉公所的文書事務。