1894年，中日甲午战争爆发，而此时的蔡元培已经考中进士，并被清廷任命为翰林院编修。民族危机让蔡元培的思想发生了极大的转变。甲午战争之后，随着西学的流入，蔡元培开始广泛涉猎外文书报和刊物，并积极留意外国的新兴学说。在担任翰林院编修的四年时间里，蔡元培不再对仕途感兴趣，甚至放弃了从政的的念头，他在自己的书斋中写了十个字表明自己的态度：“都无做官意，惟有读书声。”甲午战争中国战败，清政府签订了丧权辱国的《马关条约》，蔡元培感到十分愤怒，同时也看清了清政府腐败无能的真实嘴脸。1898年，康有为、梁启超发动戊戌变法失败后，蔡元培分析认为，变法失败的原因是缺乏革新人才。于是，蔡元培毅然决定离开北京，继续投身教育，希望启发民智，走教育救国的道路。
蔡元培离开北京回到了家乡绍兴，担任中西学堂的校长。蔡元培刚一上任就进行了改革，按照受教育程度把学生分成三个等级，也就是现在的小学、初中、高中。1900年，蔡元培离开中西学堂后来到剡山书院担任院长。在剡山书院，蔡元培宣传科学的重要性，并且建议学生根据自己的兴趣爱好选择适合的科目学习，但是由于学校经费有限，书院改革并没有顺利实施。一年后，蔡元培再次选择离开。此后也有不少书院想要聘请蔡元培任职，但蔡元培都拒绝了。
1901年，蔡元培经过深思熟虑，来到了上海南洋工学，担任经济特科班总教习的职务。蔡元培到任后便开始筹备建立爱国学社。在爱国学社成立初期，资金严重缺乏，蔡元培和章炳麟等人为了宣传革命，轮流撰写文章发表在《苏报》上，而《苏报》则每个月向爱国学社支付100银元。蔡元培曾说，《苏报》在那个时候几乎成了爱国学社的机关报。除了进行教育的宣传，蔡元培还积极在校园开展演说会，倡导革命，并组织学生进行军事训练。这也是蔡元培开始教育革命的开端。蔡元培认为，革命只有两个前途——暴动或暗杀。所以，他还积极让学生研究毒药、炸弹，想要暗中成立学生暗杀团。
1904年，光复会成立后，由蔡元培担任会长。接着第二年，蔡元培又加入了同盟会，担任上海支部部长。不久后，蔡元培得知清政府打算从翰林院里选派优秀人才去国外留学，于是回到北京报名。
1907年，蔡元培在北京等待被派遣留学，但由于政府经费不足，加上留学欧洲的人很少，蔡元培留学德国的计划迟迟不能实现。当年7月，恰逢顺天府尹孙宝奇出任德国公使，蔡元培便托朋友向其转达了自己想要在使馆出任一职的意愿，孙宝奇答应了他的请求，并每月给他30两白银作为贴补。最后，已近不惑之年的蔡元培终于得以前往德国，开始了他半工半读的艰苦留学生涯。因为不是公费留学，蔡元培必须自己支付不菲的学习和生活的费用，除了每月在使馆兼职得到的30两白银，他还担任了唐绍仪侄子的家庭教师，每月可获得100马克的收入，这些钱除了留够生活费之外，剩下的全部都用于维持他国内的妻子、儿女的生活，其实，为了能够留学德国，蔡元培放弃了公费留学日本的机会，他坚持自己的梦想，他的“教育救国”理念让他坚定而执着地选择了德国。按照他的计划，他准备用最少五年的时间留学德国，研究教育原理。留学的第二年，蔡元培想要申请去柏林大学留学，但是因为无法提供中学毕业证而没法注册，最后在汉学家孔好古的帮助下，得以在莱比锡大学注册。虽然没能进入最负盛名的柏林大学，但是莱比锡大学也是当时数一数二的顶尖大学。当蔡元培到莱比锡大学时，正是其最为辉煌的时期，学生的人数达到了1万2千之多，在当时实属罕见。
蔡元培在莱比锡大学奋发努力，潜心求学。蔡元培在三年的时间里总共选修了40余门的课程，内容涉及到心理学、哲学史、艺术、德国文化史等，他还帮助孔好古整理了从甘肃楼兰发现的中国古代文献。对于自己在德国的学习，蔡元培这样说：“我一直是研究哲学的，后来到德国留学之后，发现哲学涉猎的范围太广，就想把范围缩小一些，专门研究实验心理学。我看了一些德国人写的美学书，非常喜欢，因此我决定研究美学。”后来蔡元培在莱比锡大学的业余活动也大多跟美术艺术有关，他喜欢去美术馆，喜欢看画家们画画。而蔡元培的“以美育代宗教”的观念也正是在这一时期形成。
蔡元培在莱比锡大学读书之余，也十分关注德国的大学教育。他翻译了一篇题为《德意志大学特色》的文章，发表在1910年的《教育杂志》上。这篇文章也是著名的哲学家包尔森的著作《德国大学与大学学习》的绪论。包尔森在文章中对比了德国与英国和法国的大学的特点。后来蔡元培担任北京大学校长之时，他的改革的思路和教育理念，基本上也是来自他在莱比锡大学的观察和思考。
1911年年底，蔡元培从德国返回中国。在中华民国临时大总统孙中山的授意下，蔡元培被任命为教育总长。上任后，他以中华民国首任教育总长的身份致力教育改革，废除了封建主义的教育制度，建立了中国近代教育体系，为中国近代教育奠定了基础。