1928年3月起，中国公学大起风潮，导致校长何鲁愤然离任。公学董事会先后推举于右任、蔡元培出任校长，均未如愿，理由是“于、蔡二人道德学问虽好，可惜兼职太多，恐不能专心办学”。
万般无奈之下，关心公学事务的人们想到了正在上海著述教书的胡适。4月26日，曾在中国公学任职的王云五与但懋辛、朱经农、丁鸟音、刘秉麟等往日师友一道邀请胡适吃饭，席上再三奉劝他出任中国公学校长。胡适“一时高兴，遂允为维持两个月”，就这样“套上一件镣铐”，“去做性所不近的事业”。
不过，这事总带点“逼上梁山”的意味，很快胡适就后悔了，当天在日记里写道：“此事殊不智，事后思思甚懊悔。”中国公学董事会似乎也觉察到了胡适的不坚定，赶紧趁热打铁，第二天就召开会议，正式推选胡适为中国公学校长，并确定由熊克武负责筹款、但懋辛任总务长、丁
鸟音任校董会秘书。对于校友们如此的信赖与热情，胡适进退两难，自觉“无法摆脱”，只好答应“把这学期办了再辞”。
戴上“紧箍”
4月30日，在但懋辛的陪同下，胡适前往中国公学赴任，并发表了简短的致辞：“中公富有革命上光荣之历史，故中公造就之革命人才，亦较他校为多。深望同学消除地方观念及私见，努力读书，则中公前途，庶乎有豸。”1虽然公学上下一片欢迎之声，但他内心的隐忧丝毫未曾消减：“我细看校中状况，很难有办法。最难的是经济方面，熊、但诸君虽任此事，然他们都不是很有手腕的财政家，况在这各方面都穷困的时期呢？”
而就在他到校的前两天，又传出学生打架的消息，这让胡适对于公学的前途一度很是悲观。他想到沈从文小说《旧梦》里一个女人说：“你放痞一点，你就成功了。”可惜自己不能“痞”，也不想成功。
最让他感到惊讶的是，中国公学办学多年，竟然连一份完备的校规都没有，活脱脱一个“草台班子”，岂非怪事！于是，他决定先从学校的组织与制度入手，建章立制，理顺关系，再大刀阔斧，动手整顿。
不以规矩，不成方圆。5月5日，胡适到校召集校务会议，通过三个决议案：校务会议组织大纲、教务会议组织大纲和学校章程起草委员会。
当务之急，是重组董事会。中国公学设立董事会始于1908年，首任会长为张謇。其后，几经变迁，人事更迭，先后列名校董且对公学有一定贡献者不下百余人，其中有历史资料可考的包括孙中山、黄兴、蔡元培、宋教仁、郑孝胥、马君武、王敬芳、夏敬观、胡汝麟、于右任等52人。到了胡适接掌公学的时候，这52人中，“有的早经死亡，有的散处各省，召集会议既甚困难，而原有组织也与政府规定体制不合，呈请立案，必不可能”，于是校董会于6月10日在上海集会，决定依据大学院颁行的私立学校校董会规程加以改组，通过校董会章程，确定校董名额为15名，每两年改选三分之一。
会议从中午12点一直开到晚上7点。经过投票推选，新成立的校董会成员为：蔡元培、于右任、熊克武、胡适、杨杏佛、夏敬观、叶景葵、朱经农、何鲁、王云五、刘秉麟、但懋辛、王敬芳、马君武、丁鸟音。王云五任董事长。
当天，校董会还决议通过校董会新章程、中国公学暂行组织大纲和校务会议规程等要案。据后来担任公学副校长的杨亮功说，校董会的章程是他根据胡适的嘱咐代拟的，共十余条，后经蔡元培删去“现任校董不得兼任学校职员”条款。这主要是考虑到但懋辛、丁鸟音两校董兼任公学总务长及秘书长之职，且公学的改造经费多是由但懋辛、熊克武两人负担的，因而不便令他们卸去兼职。不过，这一条，却为后来的中国公学风潮埋下隐患。当然，那是后话了。
校董会通过的暂行组织大纲是中国公学的“根本大法”，共13条，明确“本校以研究高深学术、养成专门人才、谋新中国之建设为宗旨”，并规定“本公学设校长一人，总辖全校校务，对外代表本校，由校董会选任，呈报教育部备案”2。这实际上是赋予胡适总揽全校一切事务的决断权。
一开始的组织大纲草案本没有提到设立副校长的条文，但胡适在本次会上再次提出辞职，未得同意，因此决定在组织大纲中新设副校长，以备胡适万一辞职时，由副校长主持公学正常运转。会议通过决定，拟请高践四或杨亮功担任副校长。
即便如此，胡适还是没有完全死心，不改最初“允为维持两个月”的心理。6月17日，距离他承诺接任中国公学校长快两个月的时候，再度提出辞职，结果但懋辛与丁鸟音一天两度到家做他的思想工作，劝他不要“撂挑子”，胡适终究抹不开这份情面，“逼得我没有法子，只好暂时答应了，把这个过渡时代过去了再说”。当晚，胡适说服安徽巢县人杨亮功出任副校长之职，代他驻校处理日常事务。
胡适后来说，“我所以不忍一丢就走的缘故有三：（1）熊锦帆、但怒刚、丁鸟音诸同学真热心办此事，我不忍丢了他们就走；（2）这个学堂当初确然于我个人的发展曾有大影响；我若不进中公，后来发展的方向当不同；（3）此时我行就职礼，可以表示一种态度，表示我不想北去。”3
“我不想北去”，显然不是胡适的真实心境。当时发生了一件事，让胡适觉得应该“自证清白”。据胡适日记记载，事情是这样的：
1928年6月15日，应蔡元培、杨杏佛之邀，身为大学院大学委员会委员的胡适到南京开会。会议的重点本来是讨论中央大学换校长的事情，但最后的争论点却集中在北大问题上。
会上，蔡元培报告北大问题，提出两点建议：一是将北京大学改名为中华大学；二是他本人不愿兼任中华大学校长，请会议决定推李石曾为校长。
胡适当即起立，提出异议：“一是北京大学之名不宜废掉；二是李石曾先生的派别观念太深，不很适宜，最好仍请蔡先生自兼。”
这一席话，立即激起轩然大波。同为大学委员会委员的国民党元老吴稚晖，情绪尤为激动：“石曾先生向来是很能容人的；但近几年来的举动，我也不满意。但度量是比较的。譬如有一百个人才，蔡先生能容七十个，石曾先生大概只能容四十个。胡适之先生大概也不能容七十个。但现在北京的情形，除了石曾之外，还有谁人能去做中华大学校长？”吴稚晖的言下之意很明了：是不是你胡适想当这个校长？
一番唇枪舌剑之后，胡适再度起立，澄清道：“我绝对不想回北大去，故我自己绝不成问题。吴先生说，蔡先生能容七十人，石曾先生能容四十人。我自己也至多能容四十五人罢了。但我不想做北大校长，故绝无问题；但石曾做北大校长，却有问题，故我提议，仍维持国府原案，蔡先生仍为校长，由石曾先生代理，或可救济一点。”
话不投机半句多，事已至此，胡适觉得再无争辩的必要。第二天，他写了一封信给蔡元培，要求辞去大学委员会委员的职务，“现在我已决心摆脱一切，闭户读书著述，故请先生准我辞去大学委员之职”。而他的另一个举动，就是答应继续担任中国公学校长，并出席就职礼，表明自己无意于北大校长之职。
6月25日，胡适在中国公学行就职礼。仪式由校董马君武主持。马君武是中国公学的元老，胡适当年就是从他手里考进公学读书的。往事历历，马君武不由生出无限感慨，致辞道：“胡适先生1906年考进中公时，我就认为替中公取了一位好学生，不但成绩好，品行好，风采也很好，将来一定会有大成就的。果然，二十年后的今天，这位当年的好学生，已经成为国际著名的学者了。现在由他回到母校来做校长，是我们中公的光荣，也是我生平最高兴的事。”4
正因如此，明知是一副“紧箍”，胡适还是戴上了。
“不要抛弃学问”
胡适担任中国公学校长，基本上是无为而治，校务工作基本交给副校长杨亮功处理。杨亮功在一篇回忆文章里说：“胡先生主持中国公学，除有关校务的重要政策须亲自参与决定外，余多不大过问。胡先生自兼文理学院院长，并兼每周两小时的功课，他每星期四来学校一次，重要校务，多在此时商讨。有时学校有重要集会，或纪念周请外人来校讲演，胡先生亦随时到校主持。”5
这是胡适一生之中最闲暇的时间。据胡颂平说，胡适约有100万字的学术论著，都是在任中国公学校长这几年完成的。胡适自己也说这是他的大生产时期。
胡适少年成名，一生在多个领域开风气之先，引领潮流，但他对于自己的角色定位始终是个“穷书生”，以读书、著述、教授为平生最大的追求。
在中国公学毕业生史次耘的脑海里，一直铭刻着他第一次见到胡适的情景：
民国十八年夏我考入中国公学，记得第一次去校长室见适之校长时，他穿一件白色的夏布长衫，很是潇洒的样子，我便开门见山向他请教如何读书研究的问题，他说：“做学问并不难，最要紧的须持之以恒，把一个问题彻头彻尾去研究，更要具有实事求是、寻找真理的精神。”他说话时，语调清晰，态度和蔼，温文儒雅，给我第一次印象，觉得他是一位做学问的好校长，私自庆幸能进入中国公学读书是有福的。6
虽然社会事务繁忙，且不常到校，但胡适还是坚持兼任中国公学文理学院院长，并为学生开设“中国文化史”课程。每周四，他到校一天，上午处理校务、接待宾客或学生，下午上课。这门课，没有现成的讲义，胡适每次上课抱着一大堆参考书，从容不迫，侃侃而谈，很快就口口相传，以至成了公学里最火的一门课程。据当年曾选修这门课的江厚垲回忆：
每逢上这一课，全校更加热闹起来，选课的固然准时上课；不选这一课的同学，也来上课，甚至学校附近的“水产”、 “商船”、 “同济”的校外学生，也有慕名而来听课的，因此，这一课只好在大礼堂上课，把个能容千余人的礼堂，挤得水泄不通，连窗口都站满了人，可是听讲的虽然人多，而全场却鸦雀无声地静听这位胡圣人（那时候有人做文章，这样称呼他）滔滔不绝的演讲。上课时间，都在午后二时，若是在夏天，正是“夏日炎炎正好眠”的时候，然而，听胡先生课的人，从没有感觉疲倦而睡觉的。因为在心理上先就具有崇敬的观念，加之所讲的内容，又很充实而生动，最重要的，还是胡先生讲课的时候，每讲一段，都夹上几句诙谐、风趣，或者幽默的话，引起哄堂大笑，一笑之后，气氛轻松了，精神又恢复了。7
这几乎是胡适时代中国公学学生共同的记忆。在中国公学旅台校友会编辑的《私立中国公学》一书里，多篇文章都提到聆听胡适上课的场景，其中罗佩光的回忆最具“现场感”：
胡先生那时不过三十七、八岁，夏天均穿西装，秋冬多穿浅灰色的哔叽长袍，英俊潇洒，笑口常开，春风满面，给人一种平易近人可亲可敬的印象。他授课从来不发讲义，由学生自作笔记。每次到课堂上来，都抱着五、六本厚厚的参考书，如《宋元学案》《明儒学案》、顾炎武《日知录》、戴震（东原）的《孟子字义疏证》和《原善》、梁任公的《清代学术概论》等，每讲到要引经据典的地方，很熟练的将参考书翻开，摘要写在黑板上，让学生抄写。
近阅杨副校长亮功先生所作《胡适之先生与中国公学》一文中说：“胡先生常告诉人，他每次上一小时的课，必须有四小时至八小时的准备”（见杨著《早期三十年的教学生活》）。近代文化史每周二小时，我想他至少要花半天到一天的时间准备，所以讲授的内容才那么丰富熟练生动而有系统，尤其他说的南方官话，发音清晰，口齿流利，很容易令人听懂。
他在开讲的时候，必先将要讲的内容，提纲挈领的概说一遍，或将大纲写在黑板上，然后逐段一句一句慢慢的讲，非常清楚明白，抑扬顿挫，甚为动听。讲到特别重要的地方，略为提高声调，庄重地加以说明。兴致高时，笑逐颜开，间或夹杂几句诙谐风趣的话，引得大家哄堂大笑，轻松愉快。讲到最后，再摘要复述一遍，增强听讲者的印象，并借此告一段落。而且在时间上，控制得非常恰当，下课钟一响，正好“刹车”，绝不致“有头无尾”或“拖泥带水”。8
令中国公学学生们常常萦系在怀的，还有胡适充满温情和鼓励的题字。据中国公学毕业生张和重回忆，胡适每次到校的时候，都会在处理校务和授课之余，抽出一两个小时给同学们写字。只要自备纸墨，总是来者不拒。后来因为索字的人越来越多，学校便出台一个规定：每幅字要收两块钱的润笔费，由胡适先生带回家去写。所有的收入，供作学校图书馆添购书籍之用。
胡适所写的大多是勉励同学的白话词句，或是做学问的态度方法之类，如“为学要如金字塔，既能博大又能高”“做学问要在不疑处有疑，待人要在有疑处不疑”“大胆的假设，小心的求证”“有几分证据，说几分话；有七分证据，不能说八分话”。这些条幅或对联，伴随着很多中公学生走过了激情满怀、豪情万丈的青春岁月，点燃了他们内心虽稚嫩却远大的梦想，影响深远。
胡适写下的，其实也是他对于治学方法和路径的探索与思考。在他的支持下，中国公学的同人们还办起一份刊物《吴淞月刊》，“我们希望借这个小刊物来随时发表我们的一些稍成片段的小文字，对自己则想积涓滴成细流，对朋友则想抛瓦砾引珠玉”9。