蔡元培成为中华民国第一位教育总长之后，决定不拘一格，大刀阔斧进行改革，招纳贤才。当时只有23岁的广东青年王云五在得知蔡元培担任了教育总长后，主动写信给蔡元培，详细地描述了自己对教育改革的积极想法，并表达了自己投身教育的愿望。蔡元培却对王云武颇为欣赏，不仅因为他信中的诚恳态度，更因为他的中肯建议。于是，蔡元培邀请王云五到教育部做自己的助理。
当时，国民党极力反对共和党人参与教育，但是蔡元培仍然坚持聘请共和党人范静生担任教育部副部长。蔡元培的器重令范静生十分感动，也看到了蔡元培重视教育的坚定信念，于是不顾重重阻挠，毅然接受了蔡元培的邀请。两人都把国家教育至于党派的利益之上。
范静生认为小学教育是国民教育的基础，他说：“如果连小学都办不好，怎么能办好中学呢？中学都办不好，怎么能办好大学？所以当下我们首先要做的就是整顿好小学。”而蔡元培与他的观点相反，蔡元培认为：“没有好的大学，良好的中学师资从何而来？没有好中学，良好的小学师资从何而来？因此我们首先要做的是整顿大学。”两人意见统一起来，刚好是从上而下统一并整顿了中国的教育。他们两人合作亲密无间，知无不言，因此起到了互补的作用。
蔡元培一生都倡导节俭。在教育部门成立的初期，蔡元培去总统处领取印章时，只是乘坐人力车往返于教育部和总统府之间。
1912年的7月10日，第一届全国临时教育会议召开，蔡元培担任主持人，并在会议上致词。四天之后，孙中山退位，袁世凯上台。蔡元培因为不满袁世凯独揽大权，拒绝同袁世凯为伍，主动辞去了教育部长的职务。
虽然蔡元培担任教育总长的时间只有短短的半年，但是依然对全国的教育革新做出了很多重要的贡献。在任教育总长期间，蔡元培凭借着他丰富的教育经验以及为人称道的民主作风，打破了党派门户之见，不拘一格，广泛招揽各类的人才，组建起一支廉洁高效的中央教育行政组织，同时，他也在封建旧教育的革新上做出了很大的贡献，使封建传统教育开始向近代新式教育转化，他一方面下令废除了清朝末年“忠君”、“尊孔”的封建教育思想，同时下令废止了清末学部的旧教科书，中小学读经也被废弃。与此同时，蔡元培还提出了以军国民教育、实利主义教育、公民道德教育、世界观教育、美感教育作为民国的教育方针，制订颁布了一系列新的教育法令法规。此外，他还多次主持召开全国教育会议，在会议上确立了中华民国的新学制，为民主共和政治的建设做出了极大的贡献。他领导下的教育部受到舆论的广泛肯定和赞扬，媒体称“教育部新旧杂用，分司办事……俨然一片建设气象。”
蔡元培在辞去职位后，在欧洲长期旅居，一边学习，一边从事翻译写书的工作。