吴耀辉，1956年生于衙前围，衙前围吴氏廿八世后人，属于吴仕高祖一房。生于小康之家，家族拥有3间祖屋。父亲是香港飞机工程公司的文员，母亲是家庭主妇。父亲积极参与氏族和围村的职务，出任吴日玄祖、吴仕高祖的司理。吴耀辉在围村长大，1972与家人迁离围村。初中毕业后他考入东南无线电专科学校，离校后他到启德机场工作，任职航空公司餐饮部至今。1990年代中期，家人移民加拿大，独自留港的吴耀辉萌生承传祖宗的想法，开始参与族务。2007年出任仕高祖司理，代表本房参与吴位荣祖吴日玄祖有限公司的营运，同时协助衙前围乡公所的文书事务。