5巷3号是一间三层砖屋，算是村内较像样的建筑物。围内每间屋一般占1分地，5巷3号占2分地，其中1分地用作房间，另1分地辟作客厅。地下一层有一厅两房，大姑妈住其中一房。地下有个厕所，摆了一个痰罐，并安装了花洒，但冬天要煲水冲凉。地下有石楼梯上二楼，石楼梯在村内可谓绝无仅有，而连接二楼和三楼的是木楼梯。三楼是厨房和假天台。早期天台是开放式，后用石棉瓦搭了盖，逐渐封密成一个储物室。厨房占1分地的面积，有2、3个火水炉，不过母亲通常在天台煮饭，地下的火水炉主要方便大姑妈煮食。厨房亦有小便的地方，家人不用争厕所。 二楼有一厅两房，吴肇基父母占其中一房，他和弟弟占另一房，其馀弟妹出生后，住在地下的房间，小孩都睡碌架床。二楼有一个由角铁拼成的组合柜，由父亲请专人制造。柜顶放了祖先的神主牌和观音像，中间两层放茶杯，底层是地主神位。二楼大厅是全家聚会和食饭的地方，当年家中安装了电视，父亲喜欢在客厅观看球赛节目，吴肇基受其影响亦热爱足球。父亲观赏球赛时安坐的“安乐椅”，是一张胶帆布做的摺凳。吃饭时大厅摆设木摺台，上面铺一块铁皮做台面。