温祥在蒲苔島出生，因長輩通婚關係而遷入衙前圍。戰前溫祥跟外婆、細姨在衙前圍附近的荔枝園同住約2年，弟妹仍留在蒲台島，香港淪陷後溫祥跟母親、細姨返回蒲台島。日治時期外婆在荔枝園的屋被清拆，當局發了賠償金，因温祥的姨媽當年嫁入衙前圍，跟丈夫住在二巷，外婆買了一巷的一間屋(位於鄉公所後面)，和平後温祥跟舅父、舅母在此屋同住，他在閣仔住了2、3年。舅父戰前行船，淪陷時在倫敦上岸，直至和平後才回港。