为此，旧派向董事抗议，以罢课作为威胁。这时候，徐仲凡再也坐不住了，他赶往蔡元培的办公室，就学生打架一事委婉地劝告蔡元培，希望他能屈从旧学。可蔡元培坚决拥护新派思想，不肯妥协，他认为派别之争自古就有，不能因某些人的不满或者受委屈，就将新思想打压。几天后，徐仲凡派人送来了一张1900年2月21日的《申报》，要求蔡元培将报纸上一篇清朝为恫吓维新派人士而写的评论文章抄下来，挂到大厅去，让所有人受训。
徐仲凡这样做的意图，蔡元培心里很清楚。大家是老相识，徐仲凡不会因新旧派的问题出言责备蔡元培，但并不表示他支持新学，支持他的改革。而学堂不改变教学方法，不注入新思想和理念，如何教育出救国栋梁？蔡元培同样碍于面子，没有与这位志不同道不合的董事继续处于对抗状态，也没有为保住校长这顶“乌纱帽”而虚伪做人，他写信给徐仲凡，表达了自己对新学的看法与态度，并声明辞去校长一职。
从中西学堂出来后，蔡元培直接进了剡山书院担任院长，希望能在这所学校实现他的教学理想。可他这院长只是个虚名，并无实权，实际工作不过是每月根据《四书》内容出一份考题。出于家庭负担的考虑，蔡元培暂时坚持留下来，试图静待时机改变剡山书院的现状。他多次对书院的学生做演讲，大力宣传科学对社会发展的重要性，通过各种方式劝学生重视科学，学习西方科学知识，可那些一心想考取功名的学生对此无动于衷。蔡元培又想，这些学生大概没了解过西方科学的先进，不如买一些西方科学书籍回来，建个图书馆，循序渐进地引导他们。蔡元培就向书院表明这个想法，得到的回复是书院经费有限，暂时还无法拨出款项，至于什么时候能拿出钱来，没个定数。久而久之，蔡元培也心灰意懒了，耗在书院里没事就阅读西方书籍。
恰巧在翰林院认识的老同乡张元济来到上海，他刚担任南洋公学校长一职。蔡元培就前往上海考察，对开创新学教育的南洋公学十分赞赏。当时，南洋公学正向社会招考特班生，为朝廷输送人才到海外留学做储备，张元济希望能由蔡元培来担任特班生的教导工作。
蔡元培厌透了家乡的封闭气息，从上海回来，觉得再耗在剡山书院简直是浪费时间。于是，1901年辞掉书院职务前往上海，担任南洋公学特班生的教授工作。
蔡元培长期对日本各种等级、不同性质的学校治学方式进行研究，总结出一套教学办法，打算在南洋公学执行。除了教授学校规定的科目，蔡元培很注重培养学生的综合素质，每周根据学生所选科目分别开列书目，让学生去学校图书馆借阅，周末将读书笔记交送他批改。每月出题布置作文一篇，全由他亲手批阅。每天晚上蔡元培还要召集两三个学生到办公室谈话，交流学习办法，指导学生。特科班学生的学习生活被蔡元培规划得满满的，每隔十天，每个学生就能与蔡元培当面交流一次，这样极大地促进了学生的求学积极性和师生感情。
蔡元培还鼓励学生多读西学书籍，不单读英文书籍，还要读日文的著作。他还成立演说会，特意培养学生的演讲能力，定期举办活动，让每个学生轮流练习演说与辩论。在教授学生的同时，蔡元培不忘自我的学习提升，以身作则。为了研究西方文化，蔡元培克服种种困难，向马相伯学习拉丁语，还送24位学生去学拉丁语。在蔡元培孜孜不倦的培育下，从特科班出来的人才不少，有后来成了北京大学校长的胡仁源，近代著名的文学史家谢无量，被尊为中国现代艺术先驱的李叔同等。
1902年元旦，蔡元培与第二位妻子举行了中西合璧的简朴婚礼，结束了为期两年的单身生活。自离开翰林院从北京回到家乡，他的第一位妻子王昭就卧病不起，在蔡元培于绍兴中西学堂任职期间病逝。
丧妻不久，蔡元培就成了媒人争先恐后提亲的对象，给他惹来不少烦恼。蔡元培想了个办法，在门口的墙壁上贴了一张征婚启事，郑重声明：若不符合以下条件者，就不要来打搅了。这份征婚启事在当地引起轰动，媒人们一个个望而却步，同时也引来那些维护传统风俗的人的侧目。
蔡元培的第一桩婚姻由母亲指定，虽然通过《夫妻公约》重新调整夫妻关系后，曾出现过和谐景象，但蔡元培切身体会到没有感情基础的婚姻是多么不合理，与志趣不同的女子相处，弊病多多。因此他要求：第一必须是没有缠足的女性；第二必须是识字的女性；第三，男子不得娶妾；第四，如果夫妻感情不和，可以离婚；第五，如果丈夫先死，妻子可以改嫁。尽管很多人都说没有符合征婚启事上这些奇怪条件的女子，可上天却有早安排好的缘分，让他遇见了黄仲玉。
他们俩是通过一幅画认识的。有一次，蔡元培为学校的事出差杭州，看到一幅工笔画，觉得画工不错，署名是黄世振，字迹却像是出自女子之手。蔡元培感到疑惑，朋友笑着说：“这是江西黄尔轩的女儿黄仲玉。”蔡元培听说她出身书香世家，擅长写文作画，父母开明不给缠足，而且性情温婉家教很好，对她非常感兴趣。在友人的撮合下，蔡元培与黄仲玉见面，两人果然一见倾心。
新婚不久，蔡元培就积极投身于事业中去。1902年4月，蔡元培和几位知名教育家在上海发起成立中国教育会，其目的是发展中国的教育事业，增进人民的爱国观念。蔡元培希望能借中国教育会的影响力，创办出理念先进的教育机构来，进一步实现教育救国的理想。
第三节 教育救国，中国教育会与爱国学社
南洋公学时期的蔡元培，时刻在思考科学治学，一直在不断学习，通过各种办法，尽可能地了解外面的世界。1902年夏天，趁学校放暑假，多年来研究日本教育制度的蔡元培前往东京考察，计划逗留一个月。遗憾的是，刚到日本不久，就碰上了吴稚晖与驻日公使蔡钧发生冲突，吴稚晖被日本警察缉拿，蔡元培为解救吴稚晖而四处奔走，还亲自陪同他回上海，考察日本一行因此潦草结束。
吴稚晖事件传到中国，引起了一场大型的全国退学潮。不久，南洋公学的学生也用集体退学的方式，作为向学校管理制度表示不满的抗议。
此事因国文老师郭镇瀛桌面上出现一只洗净的墨水瓶而起，校务处不问青红皂白地开除了相关的三个学生。如此一来，校内新旧两派对立的矛盾激烈到极点。学生们的思想原本就非常进步而活跃，他们除了接受课堂教育外，还定期阅读各种进步报刊。当初学校禁止学生阅读西学报刊，限制学生的言论自由，就有学生和老师的冲突不断。如今，学校又开除无辜学生，南洋公学的学生就在1902年11月集体宣布退学，在校园内高呼“不愿再当奴隶”的口号。
这大面积的退学潮让南洋公学的管理者们恐慌，急忙就此事开会讨论。让蔡元培气愤的是，这次会议讨论不是为了寻找解决退学潮的办法，而是相互推卸责任，纠缠谁对谁错，都认为这是蔡元培平日提倡民主导致的结果。张元济于是出面解围道：“蔡先生确实提倡民主自由，但没有教学生闹事。”
就在这时，蔡元培站了起来，他面不改色地说：“我不认为倡导民主有错，也坚持学生应享有言论自由，如果大家觉得蔡某不适合担任南洋公学的教员，那我走就是了。”蔡元培说到做到，立即转身离去，当天就提交了辞职书。
学生听说此事后，义愤填膺，一个个挥拳要去校长那儿抗议。蔡元培安抚住学生，不想因自己的事连累任何人。学生们不舍得蔡元培走，他离开那天，全校学生在操场上排队，集体高唱爱国歌，送他出学校。
中国教育会对南洋公学的学生退学后的去向十分关心，派议员与退学学生接触，了解他们当下的情况和心愿。最后，中国教育会和退学学生代表在张园经商议达成协议，决定创办学校，取名“爱国学社”。
建一所学校所需资金不少，中国教育会并没有雄厚的经济实力去筹建。蔡元培心疼那些退学学生，不想耽搁他们学习的好年华。为了让退学学生早日接受教育，蔡元培一心扑在工作上，整天给朋友写信、发电报，苦口婆心地劝社会人士捐款。即使妻子黄仲玉三番五次告知他大儿子生重病，蔡元培还是抽不出身回去看望。
终于，一位远在南京的朋友来信说愿意借给他钱，但需要他亲自来取款。蔡元培喜出望外，立刻买票出发。临上船时，却听见人群中有妻子的呼唤声。她追来告诉他大儿子病重，昏迷不醒，连医生都摇头而去了，现在让他赶快回去看看，这可能就是最后一面了。
这让蔡元培左右为难，一边是长子，一边是那些渴望复学的学生，况且是好不容易才说服朋友借出钱来的，如果失信不去取，今后恐怕就更难借了。蔡元培前思后想，心如刀割，还是咬牙登船。这一去，他虽如愿借到了6000银圆，却永远失去了心爱的长子。等他马不停蹄地赶回家时，长子已入殓，他双腿一软倒了下去。
凭借这笔借款，爱国学社成立了。中国教育会将校训定为：“以灌输民主主义思想为自己的任务，重精神教育。”选蔡元培为学校总理，黄炎培等人为义务教员。教学内容既保留国学精粹，又涵盖西方科学诸多门类，如算学、物理、化学、经济、法理等，特别注重学生的精神教育，设有心理、论理（逻辑学）、伦理、社会、国家、政治等门类；多门选修课如日文、英文、体操、美学等则用于提升学生的综合素质。
爱国学社划分四个年级，实施学生自治制度，住宿设立“评议会”，通过自治，监督学校行政以及学生的行为。学生们经常同教师一起外出参加集会演说，倡言革命。爱国学社下面还附设蒙学堂，创立童子会，出刊《童子世界》，使校园里的政治风气空前活跃。
在蔡元培的经营下，爱国学社不断壮大，学员倍增，同时也促进了爱国女学的成长。爱国女学的创办源于林宗素主张妇女解放的理念。1902年，来自杭州的林少泉领着妹妹林宗素一起来到上海，为创办女子学校取经。在夫人黄仲玉的引荐之下，林宗素与蔡元培会面，蔡元培很赞赏林宗素创办女校的想法，又将她介绍给中国教育会。经开会讨论后，中国教育会的议员一致同意设立女学校，校名为爱国女学，请蒋智由担任校长。
后来，蒋智由去日本留学后，蔡元培被推选为爱国女学的继任校长。开办之初，女校的所有学生就是开办之人家中的女子，生源匮乏，不成气候。不过，随着张竹君女士从广州来到上海，给爱国女学注入了新活力。外加爱国学社创办，教育会劝说学生的姊妹来爱国女校就读，蔡元培修改了爱国女学的授课科目，由爱国学社的教员兼任授课工作，两所学校就此共同发展起来。
为扩大生源，爱国学社有自己的一套宣传。恰逢全国各地反抗帝制的浪潮此起彼伏，只要某地出现闹学潮，就发电报去表示鼓励，游说学生加入爱国学社。当时南京陆师学堂爆发退学风潮，吴稚晖就动员退学学生加入爱国学社，学社一下子就增加了40多名学生。为此，蔡元培提议爱国学社增设军事训练课程，请章士钊等人教授学员操练，还以身作则地率先剪去长辫，穿上士兵服，风雨无阻地参加操练。
随着爱国学社的声名不断扩大，开始有来自全国各地各行各业的学员。慢慢地，爱国学社成了一个汇聚革命青年的据点。蔡元培深受影响，思想变得激进，也开始公开谈论革命。为反对广西巡抚王之春让法国军入境的行径，爱国学社举办拒法大会，于1903年4月25日组织上海各界人士在张园集会，在蔡元培的组织下高唱爱国歌曲。
为解决经费问题，爱国学社还另招小学生，让高年级的同学充当教师，拿所收学费来充当学校经费。同时，爱国学社名声渐大，慈善捐款也日渐增多，但加上这些款项，也只是勉强维持规模不断扩大的学校的日常开支。于是，学社里的人就开始起疑心，认为爱国学社并没如实得到捐款，毕竟那些钱都是中国教育会经手，如此转交，多有不便，于是有了独立的想法。
就爱国学社独立的问题，中国教育会开会商议。蔡元培在会上发表看法，他引用当年梁启超和汪康年共同创办《时务报》的例子，认为爱国学社和中国教育会不能走这条路，既然想独立，那就让他们独立去，宁可好好地分，也不要虚伪地合，整天以假面对人，争来争去不但没结果，反而让人看笑话。
中国教育会会长乌目山僧赞成蔡元培的提议，随后其他议员也纷纷同意。可章太炎不同意，他认为爱国学社“忘恩负义”，并以议员不到齐为理由，认为“会、社分离”只是少数人的意见，要求重新开会商议。