5巷3號是一間三層磚屋，算是村內較像樣的建築物。圍內每間屋一般佔1分地，5巷3號佔2分地，其中1分地用作房間，另1分地闢作客廳。地下一層有一廳兩房，大姑媽住其中一房。地下有個廁所，擺了一個痰罐，並安裝了花灑，但冬天要煲水沖涼。地下有石樓梯上二樓，石樓梯在村內可謂絕無僅有，而連接二樓和三樓的是木樓梯。三樓是廚房和假天台。早期天台是開放式，後用石棉瓦搭了蓋，逐漸封密成一個儲物室。廚房佔1分地的面積，有2、3個火水爐，不過母親通常在天台煮飯，地下的火水爐主要方便大姑媽煮食。廚房亦有小便的地方，家人不用爭廁所。 二樓有一廳兩房，吳肇基父母佔其中一房，他和弟弟佔另一房，其餘弟妹出生後，住在地下的房間，小孩都睡碌架床。二樓有一個由角鐵拼成的組合櫃，由父親請專人製造。櫃頂放了祖先的神主牌和觀音像，中間兩層放茶杯，底層是地主神位。二樓大廳是全家聚會和食飯的地方，當年家中安裝了電視，父親喜歡在客廳觀看球賽節目，吳肇基受其影響亦熱愛足球。父親觀賞球賽時安坐的「安樂椅」，是一張膠帆布做的摺櫈。吃飯時大廳擺設木摺枱，上面鋪一塊鐵皮做枱面。