肇基小時候與家人住在5巷，祖父與第4位太太住在4巷。大姑媽在黃埔船塢服侍西人，俗稱「阿嬸」。某次她與其他幾位阿嬸夾錢買馬標，中了三獎，她用獎金在衙前圍買了3間屋，2間位於5巷，另1間是祖父在4巷的住屋。3間屋的業權人是大姑媽和父親，各佔5成份額。父親去世後，他的好友李富帶肇基4兄弟上律師樓，辦理業權的轉名手續，將父親名下的業權轉給肇基4兄弟共同擁有。其後大姑媽有感年事已高，亦將其業權轉給4名侄兒，自此肇基4兄弟便共同擁有這3間屋的業權。