马瑞伟父亲从内地偷渡来港，母亲随后在1945年也来港，1946年马瑞伟在宋王台的住所出生。父亲跟着找地方搬家，由于经济能力不许可，未能在衙前围内租屋，在衙前围乡长的首肯下，他便在衙前围旁边的北边街搭建木屋。当时衙前围右面是南边街，有些房屋是砖屋，但大部份是木屋。马瑞伟8至10岁时，北边街约有10多间屋，邻居很多是跟他们一起从宋王台搬过来的海丰乡里。马瑞伟父母都是海丰人，都会说乡下话。马瑞伟在外跟人说广东话，但和母亲则说乡下话，因为母亲生性害羞，不敢说广东话，且左邻右里都是同乡，所以她一般只说乡下话。