輔仁文社會員由於全為新式英文書院學生，當時都被街坊譏為「洋化」組織，而香港警察更時刻對他們加以警惕，以防該會生事。

1894年，孫先生在檀香山組織了革命黨「興中會」，次年回港設立興中會總會，並與輔仁文社合併，由楊衢雲出任會長，孫先生擔任秘書。當時楊衢雲輩份為革命中人之首，孫先生亦以「衢哥」尊稱之。

下一站是中環結志街百子里，這裏是被稱為香港首個反清革命團體「輔仁文社」的誕生地。輔仁文社位於百子里一號二樓，於1892年由楊衢雲、謝纘泰、黃詠商、尢列等十多個接受西學的本地精英組成，會員多受聘於政府、洋行或學校，由較年長的楊衢雲擔任社長。這個小型組織原先以開啟民智為目的，以「盡心愛國」為座右銘，著重教育、德育、愛國及學術交流，以分享書籍和座談形式聯繫，提倡中國改革，但後來它眼見滿清實在無藥可救，就漸漸演變成研究革命的組織。