馬瑞偉父親從內地偷渡來港，母親隨後在1945年也來港，1946年馬瑞偉在宋王臺的住所出生。父親跟着找地方搬家，由於經濟能力不許可，未能在衙前圍內租屋，在衙前圍鄉長的首肯下，他便在衙前圍旁邊的北邊街搭建木屋。當時衙前圍右面是南邊街，有些房屋是磚屋，但大部份是木屋。馬瑞偉8至10歲時，北邊街約有10多間屋，鄰居很多是跟他們一起從宋王臺搬過來的海豐鄉里。馬瑞偉父母都是海豐人，都會說鄉下話。馬瑞偉在外跟人說廣東話，但和母親則說鄉下話，因為母親生性害羞，不敢說廣東話，且左鄰右里都是同鄉，所以她一般只說鄉下話。