宋小濂是哈尔滨工业大学的创始人，哈工大的前身哈尔滨华俄工业技术学校创建之时，宋小濂曾被推举为名誉会长，为了保存这所名校，宋小濂殚精竭虑，他多次为哈工大筹备建校款项，并亲自出席哈工大的开学典礼。
宋小濂被称为三硬先生，所谓三硬，即写诗硬、文字硬和行事硬，宋小濂在主政黑龙江期间，曾为东北的权益奔走呼应，他与俄人据理力争，并不惧沙皇威胁，这样的人，自然当以硬来称呼。1922年，宋小濂在完成创建哈工大学校之后就辞职隐退，后来，他便长期在北京居住，直到1926年病逝。