1916年，黎元洪担任总统，在名界名流的推荐下，蔡元培被总统电召回国，出任北京大学校长。
北京大学建立之后，几任校长十分努力，但因为受当时政治气候的影响，北京大学的建设仍然没能达到一流。黎元洪担任总统后，当时的教育总长范源濂正为北大校长的人选发愁，这时有人提议把远在法国的蔡元培请回来出任北大校长，于是他就接到了总统的邀请电报。
蔡元培接到电报后立刻返回了上海。在上海，很多朋友都劝蔡元培不要接手北京大学。因为当时的北大，正处于“晦雾时期”，虽然经历了辛亥革命的洗礼，校园里封建官僚习气依旧浓重，腐败生活作风如前。劝蔡元培不要接手的人认为，如果不能整顿好北大就会破坏蔡元培在教育界的声誉。但同时也有人表示支持蔡元培，说既然北大腐败盛行，就应该有人站出来加以整顿，即使最后没能成功，也算是尽力了。蔡元培自己则认为应该去。他认为校长并不是做官，再加上之前他就提出了在中国要重视大学教育的发展，所以他决定接受这一职位。
蔡元培就职后的第一件事就是改革北大学生的求学观念。1917年1月9日，蔡元培发表了就职演说，在演说中，蔡元培对学生们提出了非常重要的一点要求——“抱定宗旨”。蔡元培在演讲中说：“我来到这里有两个原因，一是希望学生不要再有读书做官的思想，而是树立大学是研究高深学问之地的信念。二是想仿效世界各大学通例，追寻思想自由的原则，兼容并包。今天我在这里，是真心来和大家商量一个问题，我们究竟要把北大这所最高学府，办成一所什么样的大学？我认为，大学之大，不在于校舍恢宏，而是学术气度的广大。我以为首先应该有思想自由、学术至上的学术气度。我们的北大应该把培养具有独立思想和自由意识的批判者作为我们的奋斗目标。”蔡元培的观点体现了办学宗旨的重要性。但是由于当时特定的历史环境，北京大学的学生大多对研究学问没有太大的兴趣。大多数学生都把学校看作一个跳板，读书只是为了一个文凭。当时的北大，如果一个老师受到了学生的欢迎和追捧，也许不是因为其学问的高深，而是因为其官阶的高低。鉴于此，蔡元培要求学生们要认清学习的本质并不是为了追名逐利，升官发财。
在北大，蔡元培提出了“囊括大典，网罗众家，思想自由，兼容并包”的十六字箴言作为办学思想。在这个政策下，蔡元培心中的理想是把北大改造成中国人的“精神家园”。
蔡元培提倡的“解放思想”、“追寻自由”让北大的面貌焕然一新。从孔子到尼采，从保守封建的文化到最先进的西方学说，各种各样的思潮在北大校园内相互激荡、碰撞，产生了耀眼的火花。蔡元培深知，要想从根本上改革北大，就要彻底地开放思想，兼容并包，具有创新思想学说的同时还要有宽广的胸膛，能够包容一切的不和谐，容纳所有不完美的地方。蔡元培正是拥有这种宽容的胸怀教育家，他的唯才是举、吸纳贤才，让北大极大限度地吸收最优秀的人才。这些优秀的人才包括李大钊、陈独秀、鲁迅、胡适、刘半农等新派的人物的同时，他还保留了一些顽固守旧但是却学有专长的人士，如辜鸿铭和刘师培等人。
1918年，北京大学的教员达到了200多人，教授们的平均年龄只有30多岁，当时的陈独秀不到40岁，徐家黄25岁，朱家骅26岁，胡适28岁，梁漱溟24岁，刘文典28岁……正是这些年轻的中坚力量让北大焕发出朝气蓬勃的活力。
蔡元培的改革并不是一帆风顺的，在改革的过程中也遇到了北大学校里守旧派的抵触。比如守旧派的辜鸿铭和刘师培。
辜鸿铭是一个前清遗老，彻底的守旧派。脑后拖着一根又细又长的灰色发辫，讲课时总是讽刺胡适等人发起的白话文运动。在近代中国，特别是二三十年代，论中国学者在海外的影响，恐怕没有一个比得上辜鸿铭。除了汉语，他还精通马来语、德语、英语、法语、意大利语、日语、俄语和希腊文、拉丁文，甚至比当时有些在北京的洋人教员还优秀。有一次，他故意把英文报纸倒过来看，周围的英国人大笑不止。这时辜鸿铭把报纸一放，用一口纯正的英语说：“英语实在太简单了，不倒着看还真没有什么意思。”一下把英国人惊得目瞪口呆。辜鸿铭不仅外语很好，而且还很擅长儒学，用多种语方把《论语》、《中庸》等书推广到海外，其撰写的《中国文化之精神》等书，在西方学界产生了很大的影响。
实际上，蔡元培对辜鸿铭反对白话文的观点并不认同，但他作为北大校长，却从来没有为难过他。蔡元培说过：“在中国这种羸弱的时代里，国人大都没有个性、没有脾气、也没有创新，像一只绵羊一样温顺。与其这样，我倒是希望中国能多出几个狂妄的辜鸿铭，让世界对我们刮目相看！”
刘师培也是旧学派的代表人物。他自小生在书香世家，20岁就被人称为“神童”，因写出了著名的《中国民约精义》而名噪一时，年纪轻轻就与章太炎齐名，跻身国学大师的行列。然而后来，他为了眼前的一点利益投奔了袁世凯。袁世凯倒台后，这位昔日的国学大师因此而身败名裂，被世人所鄙视。但是蔡元培并没有放弃他，他看到了刘师培的高深才华，不顾众人的劝阻而聘请他成为北大教授。
蔡元培并不在意辜鸿铭的恃才傲物和因循守旧的性格，也不计较刘师培向权贵求荣的不堪过往，他欣赏和重视的是两人的才华，因此给了他们重新展示自己的机会。北大的兼容并蓄，新派和旧派之间展开的良性竞争，从此北大校园的学术氛围变得异常活跃。
蔡元培在改革中一直把自己看成平民，用平民的视角看待中国的最高学府。而作为一位平民的代表，蔡元培进入北大后进行的大规模改革就是要使得北大朝着平民化方向发展。蔡元培在推进北大的平民化的同时，也是在推广他的平民式的教育思想。蔡元培成为中国现代教育之父，并且在让一所沉沦的大学脱胎换骨，他的平民化思想和改革功不可没。
蔡元培一直都主张人人都有接受教育的平等权利，不管穷富都有进入校门求学的机会。为了让平民拥有进入北大最高学府的机会，蔡元培采取各种办法。他在招收新生时只问他们的学历，不问家庭背景和资历，考试严格把控，限制那些纨绔子弟依靠关系和金钱混入学校。此外，他还扩大旁听生的招生人数，让原来根本不可能进入北大的年轻人来校旁听。蔡元培在北大设立的夜校，为整个学校的工友都提供了平等自由的学习机会，这也是中国开创夜校的先河。同时，蔡元培摒弃男女分校，主张男女同校。
1920年1月18日，北大平民夜校开班，一共有男女350名学生。蔡元培在开学典礼上发表演说，认为这一天是“北京大学准许平民进来的第一天”。此前，北京大学前挂着“学堂重地，闲人免入”的牌子，因为这里是全国的最高学府，只有大学生和教员才能够进去，外人是不能随便进去的。但是现在这块牌子已经没有了，很多旁听生挺着胸膛走入北大课堂听课。北大校园开始呈现出一派自由、开放和谐的现代大学景象。
然而，受当时的政治环境的影响，蔡元培也逐渐开始明白，自己的教育强国之梦很难实现了，现在的中国，连一张平静的书桌都容不下。正像鲁迅所说的，中国在黑暗中陷得太深了，非有全民族的忏悔不足以拯救未来。靠学术、靠教育已经都不能将中国这个病入膏肓之人彻底解救。1926年7月8日，他留下一封词句晦涩的信，悄然离开了他深深挚爱着的北京大学。