1880年11月12日，陈垣出生在蓬江区棠下镇石头村。陈垣祖父陈海学经营新会特产陈皮起家，成为远近闻名的药材商人。陈垣的父亲排行第五，亦继承父业，生意更加兴隆，但陈垣自幼无意经商，立志为学，得到了父亲的支持。陈垣5岁时随父亲到广州，6岁入私塾，14岁时得见《书目答问》，遂以此为师，摸索求书阅读，后又得见《四库全书简明目录》，眼界更开一层，于是泛览群籍，知识面渐宽。
17岁时，陈垣到北京参加顺天乡试，住在新会会馆。和他同住会馆的，是光绪壬辰科进士翰林伍铨萃。伍先生和他谈起学问来，发现他读书很多，对书的作者、内容、版本，都能谈得头头是道，大为惊奇。其实陈垣13岁就已经把十三经读完了，后来偶然看到张之洞的《书目答问》，眼界更是大开，渐渐学会了按照目录选购经史子集所需的图书，广泛涉猎。但可惜的是，这种博学在当时是要被指为不务正业的。
那年的试题是《冉求之艺，文之以礼》。陈垣放笔直书，信心十足。考完后回到会馆，将所做的文章情形，原原本本地说与伍先生听。伍先生认为他的文章虽好，但不合八股规范。九月初九日放榜，果未考中。陈垣懊恼离京，伍先生送陈垣到车站，握着他的手说：“文不就范，十科也不能考中！”这话对陈垣刺激很深。回到广州后，陈垣便发愤要把八股文作好。他买回了十科的《直省闱墨》，一遍遍细读，最后装订成四大册，认真体味，有的好文章甚至能够背诵。他用了两年的时间，八股文大有长进，但是后来科举却取消了。晚年陈垣回忆说：“可惜白白糟蹋了两年的时间，但也得到了一些读书的方法。”
陈垣18岁时就教过蒙馆，并且对学生不打板、不体罚，这在当时是很罕见的，受到了学生家长的欢迎，也引起了其他私塾的注意。这可以说是他几十年教学工作的第一章。
1905年，在孙中山领导的民主革命影响下，他和几位青年志士在广州创办了《时事画报》，以文学、图画作武器进行反帝反清斗争。继之辛亥革命，他和康仲荦创办《震旦日报》，积极宣传反清。
1906年他担任新会篁村小学教师，这是一座当时的“国民小学堂”，在学堂里他把很多课都包下来，讲国文、算学、博物、舆地等，还兼教体操和唱歌等课。课余时间，他经常带孩子们到郊外远足，并采集动、植物标本，同学们很觉新鲜，对这位“新式”老师，非常爱戴。当时学堂里的老师，上课时都穿没有领子的长褂，有时腰间还系上一条丝带，他却带头穿上黄色操衣（即制服），同学们都说他很精神，下课后都愿意找他问长问短，师生感情很融洽。
以后他回到广州，兼教振德中学的课，又在义育学堂教书。在这两个学堂里，他教国文、历史。他在课堂上经常宣传反对专制的思想，遭到两校校长的疑忌，而同学们则很欢迎。有的同学还受他鼓动，走上了资产阶级民主革命的道路。陈垣认为中国的贫困、愚昧，挨打受欺，是和当时的教育落后、科学落后有关；认为要使中国振作起来，必须多办学校，加强教育工作，发展科技。他在报刊上写时事论说，同时也发表过宣传兴办学校、兴办女学、卫生医药、西法接生等文章。他和几个朋友集资创办了一所医学院，取名光华医学院，他既是光华的创办人之一，又是该校的理事，并且是这所学院的第一届毕业生。
1910年他在光华医学院毕业后，留校做助教，不久，又担任了教学工作，教过人体解剖学、细菌学等课程。教材则参考日文卫生学课本，课本上有很详细的插图，他讲课注意直观教学。讲人体解剖学时，由于还没有教学挂图，为了使学生易于接受、理解，他就自己动手画挂图，上课时张贴在课堂讲解，这些挂图有些是从外文解剖学课本中临摹下来的。为了课程的需要，他常带着学生到广州郊外乱坟堆中捡拾零散骨骼，把它们洗净、拼排，作为课堂教具。同学们看见实物，且自己动手拼凑，加强了感性认识，容易记忆，印象深刻。这些都是当时其他教师没有做到的，所以同学们非常敬佩这位老师。陈垣为了提高自己的实践能力，经常利用讲课的业余时间，给亲友、邻里的患者义务诊病治疗，随请随到。既减轻了患者的痛苦，又丰富了教学内容。教学促进了实践，实践又提高了他的教学水平。
1913年，陈垣从广州来到了北京，从此弃医学史，自学成才。由于他的刻苦努力，在史学上取得了极大的成就，是国内外公认的史学大家。但他仍认为中国的教育不发达，国家想富强就应注意办教育事业，因此很关心教育工作。
1920年，华北地区旱灾严重，北京街头每天都有自外县灾区涌进的大批难民，许多孤儿缺衣少食。他看到这种惨状，便和朋友们商议，集资办起一所工读学校，名为“北京孤儿工读园”。第一次收容的男女孤儿有二百余人，该园除收灾区孤儿外，本市的孤儿亦可入学，随来随收。园中按文化程度分为高低教学班，教授一些基本课程，并设立各种劳动、技艺班，同学们可以根据自己的兴趣任意选择，参加一两个班。该园实行半工半读制，孩子们不但在园内可以得到识字读书的机会，并且可以学到一技之长，学到一两种谋生的本领。在这里，陈垣担任园长，并负责教务工作。
1921年9月，陈垣又创办了平民中学，这所中学除招收一部分本市的小学毕业生外，大部分收容的是河北灾区青年。他任校长，并兼教国文、历史和中国文学史等课程。平民中学学费低于其他中学，根据学生经济情况还可减免学费；当时该校以功课好、纪律严闻名全市。
刚到北京的几年，陈垣对时局虽大失所望，但锐气未减，还有一些设想，想担任一些实际职务，为国家办些事情。1921年，他任教育部次长，就是基于这样的想法就任的。但后来他发现工作无法开展，就提出辞职，离开教育部到各大学去授课。他先后在北京大学、北平师范大学、燕京大学、辅仁大学历史系任教，再没有担任其他政界工作。20世纪20年代后期曾在北平师范大学担任过历史系主任，解放前后在辅仁大学任校长二十多年，解放后任北京师范大学校长多年。
陈垣在教学过程中要求学生不能只顾勤学，更要注意品德修养，注意锻炼身体。他教导学生修养、锻炼、勤奋三者不能缺一，万不可功课好，又有好身体，而为非作歹，或去为敌人服务，这是大节，要学生千万注意。陈垣从事教育工作近七十年，他始终兢兢业业、勤勤恳恳地工作在教学第一线。虽然他是史学界的权威，学问博大精深，但他教学时，很平易近人，平日和学生相处，如春风化雨，和蔼可亲，诲人不倦。他的学生千千万万，遍及各地，多少专家在他培育下起步，多少学者在他灌溉下成才，几代青年在他身边成长起来。
陈垣曾在一段时期内信仰宗教，故从1917年开始，他开始研究中国基督教史，于是有《元也里可温考》之作。他认为，中国基督教初为唐代的景教，以次为元代的也里可温教、明代的天主教、清以后的耶稣教。所谓“也里可温”，是元代基督教的总称。元亡，也里可温就绝迹于中国。但作为宗教史来说，它又是世界宗教史的一个组成部分。他这一著作不但引起中国文学界的注意，也受到国际学者和宗教史研究专家的重视。此后，他又先后写成专著《火祆教入中国考》、《摩尼教入中国考》、《回回教入中国史略》。
在研究宗教史的同时，他还注意研究元史，从事《元典章》的校补工作，并采用了两百种以上的有关资料，写成《元西域人华化考》一文，在国内外史学界获得高度评价。在研究《元典章》的过程中，他曾用元刻本对校沈刻本，再以其他诸本互校，查出沈刻本中伪误、衍脱、颠倒者共一万二千多条，于是分门别类，加以分析，指出致误的原因，1931年写成《元典章校补释例》一书，又名《校勘学释例》。
他在校勘学、考古学的成果还有《旧五代史辑本发覆》、《二十史朔闰表》和《中西回史日历》等书。他阅读了大量宋人、清人有关避讳的述作，并广泛收集引用了一百种以上的古籍材料，写成《史讳举例》一书，“意欲为避讳史作一总结，而便考史者多一门路、一钥匙也”。
七七事变爆发后，北平被日军侵占。他身处危境，坚决与敌斗争。在大学讲坛上，他讲抗清不仕的顾炎武《日知录》，讲表彰抗清民族英雄的全祖望《鲒埼亭集》，以此自励，亦以此勉励学生爱国。同时，他还利用史学研究作为武器，连续发表史学论著，抨击敌伪汉奸，显示不屈不挠的民族气节。在八年抗战期间，他连续写成《南宋河北新兴道教考》、《中国佛教典籍概论》等宗教史论文及《通鉴胡注表微》，都含有讽今喻世、抒志表微的用意。