许崇清8岁丧父，其母全力抚养四男三女，生活艰难。12岁时许崇清被送往湖北武昌，寄养在姑丈冯启钧家，并进了当地一所教会学校念书。
1905年，许崇清考取官费生，东渡日本留学，在日本读完中学再进日本帝国大学和研究院，专攻哲学及教育学，对日、德、美诸国的教育思想尤为注意。在留学期间，他曾于1911年回国参加了当时孙中山领导的辛亥革命，失败后又回日本继续读书。到1920年才学成回国，回国时已是33岁。他在日本求学时正值他本人的青年时期，具有满腔的爱国热情，求知心切，刻苦学习，精通日、英、德语。在专业学习上，受指导教师的影响。许崇清在《关于我的学术思想》里写道：“我在大学时，是由哲学而社会学，最后才走上教育这条路来的。我搞哲学时，搞的是新康德哲学；我搞社会学时，搞的是孔德社会学；我搞教育学时，搞的是赫尔巴特的教育学。总之，那一学科的主讲教授是哪一学派的，我跟着也搞哪一学派的东西。我走的门路越多，那些错杂在我的脑海里的学派的对立和矛盾，就越加使得我无从收拾。于是，我想独自创立一个新体系。我几乎走遍了唯心论各科形态的哲学的歧路，结局是摸上了唯物论的最高发展形态——辩证唯物论的道路。从那时起，在马克思主义理论的基础上建立教育学的一个新体系就成了我的理想。”
他在这一时期发表的文章，侧重于概念的分析。例如在1917年发表的《国民教育析义》中，研究了国民教育的根据，从制度上、内容上进行分析，并介绍了普鲁士国民学校各科教学的内容及方法。在第一次世界大战前，德国的小学教育，著称于世。许崇清于早期向我国介绍德国国民教育情况，实富有希望普及国民教育以富强祖国的爱国主义思想。
在《哲学新义》中，他论述了哲学与学的关系，指出古希腊以两者为同义，笛卡儿和黑格尔则以学为哲学的一部分，到康德为了阐明形而上学，便把哲学作为学的概括，作为学的全体。此时期许崇清还对蔡元培在信教自由会之演说进行了两次学术上的辩论，分析了宗教与信仰不同，肯定孔子的平天下的大一统的理想，即大汉民族中心的世界大一统主义，其为文化主义而非征服主义。肯定孔子的治国平天下的政治思想在我国历史发展中的作用。在与蔡元培辩论的文章对，最早地介绍了爱因斯坦于1905年发表的“相对性原理”的学术观点，并提出以相对性与光速不变的假定为前提，使牛顿力学所假说的绝对空间与绝对时间几至不能成立，以资说明自然科学已深人发展，哲学问题亦今与昔异了。
1920年许崇清学成回国，在上海与孙中山会见。孙中山鼓励他回广东，随即担任广州市、广东省的教育行政领导职务。许崇清曾于1923年国共合作时，由廖仲恺介绍参加国民党，并由孙中山指派为中央执行委员会委员，参加国民党改组工作，1924年的《中国国民党第一次全国代表大会宣言》中的教育部分，他是起草人之一。
大革命时期，许崇清与中国最早的马克思主义者陈独秀组织广东革命政府的全省教育委员会，推行教育改革，这是他终生从事教育工作的起点。1921年，许崇清创办广州市民大学，当时报刊评论说：“此乃中国教育史上之创举。”1922年，廖仲恺赴日本与苏联代表越飞会谈，他随同前往。据何香凝回忆：“当时仲恺的哥哥在日本做北洋政府的驻日本公使……我们如能够住在仲恺的哥哥的家里，当会更为方便，于是以带许崇清给他第六女儿做媒为掩护……以利于他与越飞会谈”。10月24日，许崇清与廖承麓（六薇）在东京结婚，婚后不久即回广东。
1924年至1926年，是我国大革命高潮的年代。当时国共合作，许崇清被1924年的革命统一战线掀起的蓬勃的国内革命高潮所鼓舞，并受到十月社会主义革命所形成的苏联教育制度的新规律研究的启发，他的教育观念有了根本的改变。在教育理论上，他主张教育断不能与国家、社会的政治脱离；在教育实践上，他真正认识到革命的社会的实践对改造社会，教育人与改造人的伟大意义。他在当时共产党的影响下和左派青年的帮助下，满怀希望在教育事业方面做更多的工作，在教育的实践上写下了他人生光辉的一页。
1924年，许崇清任广东省教育厅长，他曾发起了收回教会学校外国人管理权及禁止在学校内传教的运动，并且这个运动席卷全国。他还开展了工人群众的识字运动。1925年，许崇清在国共合作举办的干部学习班上，与毛泽东、恽代英、周恩来、肖楚女、彭湃等一起讲述革命理论。他主讲《革命与教育》时，明确提出反帝反封建的教育任务，并强调教育对于改造旧社会和建设新中国的作用，阐明教育与革命实践、国家建设的关系。
在整个大革命时期，许崇清在教育思想上和教育实践上，对我国的教育事业，是作出了有历史进步意义的贡献的。
1927年4月12日，蒋介石发动反革命政变以后，革命统一战线及一切革命政策已被国民党当局的反人民的“清党”政策和屠杀政策所破坏了。
在1927年的革命失败后，许崇清认为他的教育思想只有在未来的理想社会才能够实现了，现在是无所作为的。于是他便转向致力于教育理论的研究，想在辩证唯物论的基础上建立教育学的一个新体系。这个时期许崇清侧重马克思主义教育哲学的研究，除了继续对当时的教育方针政策提出改革的意见之外，着重宣传马克思主义教育哲学的观点，并与当时歪曲马克思主义的某些教育与哲学思想展开论战和批判谬误。
此外，他对当时我国的文化、科学、教育建设，也提出了具体主张。例如，他在《教育方针讨论》一文中指出，中国从来的教育只是统治阶级的教育，辛亥革命以后实施新的教育制度，才附加科学技术教育。由于中国受帝国主义侵略，经济落后，科学技术落后，所以上述新教育措施，至今未能彻底推行，于是主张教育要配合孙中山提倡的节制资本，平均地权，发展实业的政治路线，发展科学技术教育，实行学校社会化，并主张不要强行灌注统治者的政治意识于人民，这对反对蒋介石的独裁统治是有进步意义的。
1930年，许崇清发表了《农村学校改造的五个要则》，希望通过农村学校的改造，促进农村经济的发展和农村生活的道德化。
1931年，许崇清出任中山大学校长。他上任后在该校文学院增设社会学系，并将理学院改为理工学院，增设土木工程和化学工程两系，还开始兴建新的农学院校舍。“九·一八”事变后，全国学生抗日运动兴起。12月，以中大学生为核心的广州学生举行了声势浩大的抗日爱国游行和请愿，全市实行罢读。而许崇清对学生的抗日行动持同情态度，为当时的西南政务委员会所不容。12月中旬，他被以“控制不力”为由，免去校长职务。中大的教职员和学生对此极为不满，校董会也表示要许留任。反动派迫于无奈，不得不下令在新校长未到任时，许崇清暂行代理中大校长，维持校务。1932年2月，许崇清正式离任，只挂广东省政府委员的虚职。