1933年秋，林砺儒奉命创办广东勷勤大学，该校内设师范学院（华南师大的前身）、商学院和工学院，他被任命为该校教务长兼师范学院院长。
林砺儒一贯坚持真理，对教育教学工作锐意改革，提倡学术研究自由。他善于招揽人才，开设进步课程，其时一些思想进步、知识渊博的学者都先后被聘到学院任教。如有张栗原主讲《新哲学》（即辩证唯物主义）、李平心主讲《国际形势》、翻译马克思《资本论》的著名学者郭大力主讲《经济史》、《现代经济学史》、《中国经济学史》等等。林砺儒又于《心理学》课程中加授宣传心理学。此外，他还经常聘请当时的进步人士到学院讲学或作时事报告。人民教育家陶行知、“七君子”中的邹韬奋、王造时、沈兹九以及著名学者钱俊瑞、杨东荪、张仲实、金仲华等人均在邀请之列。在自然科学方面，他同样聘请黄友谋、陈兼善、熊大仁等进步教授到学校任教。林砺儒还提出了学院图书馆定购《群众》、《新华日报》等进步报刊的要求，让学生开阔眼界，接触新思想，探讨新问题。
学院对学生要求十分严格，重视专业知识学习和技能训练，重视德智体全面发展。如学院规定：如果学生“教育实习”成绩不及格，或每学期学科成绩有一半不及格，或操行成绩不及格，或经医生检查后体质不适合于修业，皆令其退学。此外，学校经常开展课外活动以增长学生的才干。如开展下乡办学、演剧、宣传抗日救亡活动，定期举行辩论会，举行国语练习比赛，成立书法研究会等。
林砺儒重视校风、校貌的建设。如规定校服，男生一律穿军训制服，女生裙裤最短须过膝，女生留发不得任意披散。出于学院安全的考虑，师生员工出入一律佩戴学院证章，以防歹徒混入。
1937年10月，灭绝人性的日寇对广州市区疯狂滥炸，各高校纷纷将校址迁至内地或港澳地区。同月，勷勤大学教育学院第一次迁至广西梧州市，第二年3月即恢复上课，并积极进行抗日救亡活动。1938年，为了纪念五四运动，勷勤大学的学生在梧州市北山中山纪念堂与广西大学的学生联合演出，学院的同学们演出了《同仇敌忾》、《打鬼子》等话剧。
1938年10月，广州沦陷，梧州遭到日机的轰炸，于是教育学院再迁至广西藤县。由于林砺儒与省石井兵工厂厂长钟道昌私交深厚，全院师生及图书、仪器设备等得乘该厂运输船溯江西而安全抵达藤县，并与11月正式复课。
到藤县不足两个月，江西战事告急，学院只好于1928年底迁至贵州交界的融县东廓，于第二年2月正式复课。
由于学院经费短缺，教职员工只能领到一半的工资。但由于有林砺儒的正确领导，所以在融县的八个月，学院的教学工作照常有条不紊地进行，科学研究工作也同样按部就班地开展。这一期间，部分师生组织苗山考察队进行考察，事后编写出《苗山考察报告》、《苗山文化之考察》两本著述，但却无法刊印发行，林砺儒对此十分重视，令教务处手抄石印出版，然后寄给各个学校交流，取得了良好的效果。
1939年8月，学院依照当时政府的命令作第四次转移，搬迁回广东省乳源县侯公渡。1939年底，日寇侵犯粤北，于是学院又于11月下旬作第五次迁移，至连县车陂镇。这次搬迁，正如林砺儒后来回忆所说：“抗战后之两年半时间，我们五次搬迁。头三次，都在广西境。去年秋季第四次迁回广东境内乳源县”，不久，“又五迁来连县了”。上述五次搬迁，全部辗转于崎岖不平的沙石山道之间，正是因为林砺儒领导有方，才使学校的财产完整地保存了下来。和全省乃至全国的院校比较而言，实不可多见。尤其值得称道的是，这一时期，林砺儒积极团结进步师生，更得到中共地下党委的支持，使教学工作、科研工作以及抗日救亡活动的开展都不断呈现出新的局面。
就在这个时期，国民党反动当局听说文理学院的师生致力于抗日救亡活动，进步教授开设新课程，图书馆定购进步办刊，因此对学校日益不满。如当时教育部督学张北海和国民党要员崔载阳到学校视察，他们指责不应开设《新哲学》等课程，而且提出要解聘张栗原、郭大力、陈守实等教授。林砺儒对此毫不屈服，设法应付，保留了新课程。又如1939年4月，重庆国民政府规定高校必须设训导处和国民党区分部。林砺儒让盛叙功教授于是年5月到重庆市党政训练班第三期接受培训，返校后挂名担任训导长兼国民党区分部书记，并相应形式地挂上牌子，使国民党无法直接插手学校工作。
1941年夏，国民党配合“皖南事变”反共逆流，在广东省教育界毫无理由地免去了许崇清教授中山大学代理校长职务和林砺儒省立文理学院院长职务，同时派国民党中统人物崔载阳接任省立文理学院院长职务。国民党政府的行为激起了人们的愤怒，学院师生掀起声势浩大的“挽林”斗争。斗争坚持了两个多月，但是当时的省政府还是顽固地于1941年5月将林砺儒免职。不久，郭大力、许杰等教授也被迫辞职。
林砺儒始终关心广东的教育事业。20世纪50年代，他担任中央教育部副部长之职。这一期间，他曾到广东视察教育工作，并专程到华南师范大学视察，与学院领导人长谈了一整天，同时对全院教职工作了关于师范教育问题的报告。随后，林砺儒又向广东省教育厅建议，设法为华南师范大学创造条件，使之成为重点院校之一。同时，他还建议华南师大扩招学生，充实教学设备，提出将原来贯穿于华南师大校园内的一段广九铁路迁出校外，以免影响正常的教学工作。
1989年10月，广东省社科联、广西省社科联、华南师大、信宜市政府等十个单位联合发起纪念林砺儒诞辰100周年学术讨论会。该会首先在华南师大召开纪念大会，接着与会代表驱车至林砺儒的家乡信宜市隆重举行学术讨论会和在信宜中学举行林砺儒塑像揭幕典礼。会后由华南师大省教科所编辑出版图文并茂的含有35篇文章的纪念文集《林砺儒教育思想研究》，由广东省高等教育出版社出版发行。