1927年夏，黄质夫调任国立第四中山大学南京中学乡村师范科主任，它的前身是1923年建立的江苏省第四师范分校，1932年改为江苏省栖霞乡村师范学校，位于南京近郊栖霞山。经过历年战火，学校设施损坏严重，屋破墙颓，荒草塞途。黄质夫接任不久，孙传芳军队渡江南犯，栖霞成为战场，居民大都远避。他不顾危险住在学校里守护校产，每天与驻军周旋，与伤员、遗尸为邻，有一次几乎被流弹击中。战事结束后，他立即着手恢复学校，组织师生参加盖房、修路、植树、开辟生产园地。为了节省有限的经费，他带头苦干实干，到江边扛运木料，双肩压肿了也不休息，与师生一道抬土、运石、拉石磙，修筑道路。在改善学校物质条件的同时，他更注重“软件”建设，选聘优秀教师，改设教学课程，改进教学方法，实行严格训练，探索乡村教育的新路。
经过几年惨淡经营，栖霞乡师面貌一新。摄山脚下竖起一座座宽敞明亮的校舍，教室、礼堂、自然科学馆、农业研究室、理化器械室、图书馆、师生员工宿舍等均初具规模。教师队伍人才济济，如国文导师任中敏（后在多所高校任校，著名词学家），何棣先（后为贵州大学教授、系主任）、鲍勤士（著名学者）、汪静之（著名作家），数理化导师高直侯，音乐导师敖克成，教育导师胡宏模、姚虚谷等，都是当时教育界的佼佼者。学校设有实习基地，有农场、林场、各种工场。学生们参加农事、园艺、饲养、建筑、缝纫等生产劳动，手脑并用，增长知识和才干。学校还举办各种社会事业，为乡民提供多方面服务。如举办民众学校，组织农民读书识字；举办民众茶社，“提倡正当娱乐，指导休闲生活”；成立农友社，研讨、改进农事，提倡植树栽桑，介绍农业技术，推广优良品种等；办起医院、妇产医院，免费为乡民看病。有一年谷贱伤农，乡民生活发生困难，黄质夫亲自到乡村调查，多次与中国商业储蓄银行南京分行接洽，获得低息贷款一万余元，救济栖霞附近20多个乡村，帮助乡民解决生活困难。报载“乡民欢声雷动，爱戴莫名。”
栖霞乡村师范办得很出色，许多知名人士如梁漱溟、黄炎培、陶行知、马寅初、郭秉文、陈立夫等，相继到学校考察、演讲，全国各地不少学校和教育机构派人到学校参观。有的考察报告中说：“该校设备之整洁，工作之紧张，教学之认真，学风之纯朴，教职员精神之团结，有非他校可及者。”有人认为“栖霞乡师在乡村教育中独树一帜。”
在创办栖霞乡师过程中，黄质夫几次与行政当局及当地恶势力作斗争，表现了他刚正不阿的品格。栖霞寺寺僧倚仗国民党政府高层人士中佛教信徒的势力，借口清理寺产，将农民辛勤开垦出来的山地据为己有，强迫签订主佃契约，缴纳田租。贫苦农民无钱无势，抗争屡败。黄质夫同情农民遭遇，主持公道，与寺僧进行说理斗争。寺僧迁怒于黄，诬告栖霞乡师挖坟毁墓，霸占寺庙土地，南京法院将黄传讯拘留。此事引起教育界公愤，江苏省中等学校校长联名发表公告，谴责栖霞寺僧和司法部门的不法行为，京沪等地舆论机构也进行声援，南京法院不得不宣布黄质夫无罪释放。陷害不成，行政当局又以栖霞乡师管教不力为借口，要求校长辞职，并以行政手段将黄调离。黄质夫终于被迫离开栖霞乡师，但他发表《为南京中学栖霞乡村师范事告远近乡教同志书》，诉述自己离开“朝斯夕斯，寝斯食斯”的栖师，“非忘情于乡村教育而去也，亦非不顾事业而去也，乃因环顾现时之是非颠倒，黑白混淆，不得已而去职也”，“身体虽去，而精神上终不能忘也”。他对栖霞乡师确实是念兹在兹，不能忘怀的，离开后仅于1931年8月到浙江省湘湖乡师主持了几个月的校务，又在1932年初回到栖师继续担任校长，直到抗日战争爆发，日军向南京侵犯的前七天才离开学校，踏上流亡的道路。
1939年9月，黄质夫被任命为贵州省省立贵阳乡村师范学校校长。这所学校原来管理不善，秩序混乱，学生生活困苦，“餐餐牛皮菜，顿顿难吃饱”，不断爆发学生运动，先后换了三任校长。黄质夫受命于困难之时，上任之后在恢复正常教学秩序的同时，大胆提出迁校的设想。他认为乡村师范办在贵阳近郊不适宜，应该办到少数民族聚居的边远山区，为开发边疆、改变少数民族地区落后面貌服务。他的设想得到上级教育行政部门批准后，当年冬天就由一名苗族学生做向导，跋涉黔东南山区10多个县，实地考察，最后选定榕江县为学校新址所在地。榕江靠近广西、湖南边界，为多民族聚居区，土地肥沃，农产品丰富，但交通闭塞，文化落后，县城仅有两所完小，一个师范生。当地人士欢迎贵阳乡师迁到本地，将一批公房、庙产和荒山、土地拨给学校使用。1940年初，贵阳乡村师范迁到榕江。不久，改为国立贵州师范学校，由教育部边疆教育司直接领导。
黄质夫在榕江五年多，为建设学校、开拓边疆教育事业倾注了大量心力，取得了显著成绩。迁校前，贵阳乡师仅有4个年级、150多名学生，迁校后，先后设立了师范部、简易师范部、耕读班，还在黎平县设有初中部，最多时有16个班级，近千名学生，成为贵州省规模最大的一所学校。学校招收少数民族子弟，学生中有苗族、侗族、布依族、水族、壮族、土家族等，不少来自沦陷区的青年也慕名前来就读。教学实行“德、智、体并重”，培养有理想、有知识、能实干的人才。教学质量在当时西南地区很有名气。学校还开展生产劳动，培养生产技能，实现基本自给。迁校第一年即种植粮食400多亩，植树3万多株，创造价值14万多元。相当于学校全年经费的59%。师生吃的蔬菜、荤食品基本自给。还办了工场，师生用的簿本、纸张、粉笔、劳动工具及穿的衣服、袜子大都是自己制作的。
由于国民党地方当局寻衅压迫，如：殴打追捕黎平分校公演《兄妹开荒》舞剧的学生，要在学校中发展国民党员和三青团员，克扣应该供应给学校的粮食，甚至指使特务潜入校园冲击黄的办公室和宿舍，进行威胁恐吓。黄质夫坚持抗争，不向恶势力低头。教育部考虑到他的人生安全，指定工场主任赵峻山代理校务，派专人护送黄离开了榕江。时间是1944年。从此，黄质夫离开了为之奋斗20年的乡村教育事业。
黄质夫是中国乡村教育的开拓者，对创立和丰富乡村教育理论作出了重要贡献。但他是一位实干家，没有时间专门从事著述。他的教育思想和办学主张都体现在他的工作计划、工作报告和工作总结之中。现已搜集到的主要有《中国乡村现状和乡村师范生的责任》（1928年）、《栖霞乡村师范服务社会之实况》（1929年）、《服务乡教八年之自省》（1932年）、《实践的师范教育》（1942年）等。
抗战胜利后，黄质夫从四川回到江苏，在江苏省建设厅任技正兼经济农场场长。解放前夕，黄质夫南京高等师范的同学在台湾从事制糖工业，邀请黄到台湾并设法弄到机票，这时苏皖边区第二行政公署负责人杜干全（栖霞乡师早期学生）带来口信，劝老师留下来，为新中国服务。解放后，黄先后在苏南棉麻指导所、农林厅经济作物处做技术工作，1953年离职居家。
1963年9月23日在南京栖霞山家中去世。1992年，江苏省政协和仪征市政协文史资料委员会联合为黄质夫出了纪念文集《乡村教育先驱黄质夫》，省政协主席孙颔题写书名，前江苏省副省长管文蔚、省政协副主席韦永义，全国妇联副主席、东南大学校长韦钰等都为该书题词。