江志賢得到同村摯友吳肇基的協助，方可完成小學的學業。他讀過多間小學，每次轉校都因交不起學費。他第五間就讀的小學是在衙前圍舊吳氏宗祠辦學的愛群學校，他繼續小四的學業；愛群搬入宗祠前，漢文師範同學會曾在上址辦學。未幾又失學賦閒在家，當時好友吳肇基在漢文師範同學會小學讀小五，剛好班上有一個剩餘學額，吳肇基上門介紹他插班入讀；兩人一同步行返學，從衙前圍走到旺角洗衣街，需時約35至40分鐘，可省回1毫車費。