不久之后，和林传来一个消息，他的弟弟阿里不哥宣布自己才是正统的可汗。这样一来，他们兄弟之间便反目成仇。1264年七月，经过长达4年的较量，阿里不哥带领残兵败将来到开平向忽必烈投降，忽必烈从此成为蒙古各部公认的大汗。汗位争夺战结束之后，中原与漠北连成一片，从而为忽必烈可以集中力量南下攻宋打下了坚实的基础。
忽必烈继承汗位之后，蒙古族内部的斗争依然非常激烈，在“守旧”的藩王中势力最大、叛乱的时间最长的便是窝阔台的孙子海都。
海都对自己的父亲没能继承汗位早就已经心怀不满，自己更是无时无刻不在寻找时机承袭汗位。他想把蒙古汗国大权从拖雷的手中夺回，但苦于兵力不足，只好等待机会。1260年，阿里不哥与忽必烈争夺汗位的时候，他极力支持阿里不哥。1264年，阿里不哥败亡，他也逃回了自己的封地，招兵买马，意图东山再起。经过几年的策划后，海都兵强马壮，便勾结各路藩属诸王，自立为蒙古大汗，公开与中央政府对抗。公元1275年，忽必烈为了防止海都叛乱势力的东进，赶忙调兵遣将，命令伯颜率军前往讨伐。伯颜采用断绝粮道的办法，先后打了两次胜仗，平定了海都叛乱。
一波未平，一波又起，早就与海都相互勾结的乃颜也率部反叛了。这时候，忽必烈正在生病，听到这个消息后，便决定御驾亲征。双方大战数次，忽必烈却没有取胜。忽必烈问起众将原因，将领们便告诉他：“在咱们将士中，很多人过去都是乃颜的部下，还有的是他亲戚。所以一见面，都不忍心打。好多人骑在马上便相互交谈起来，将武器都扔掉了。”忽必烈听后非常生气，便下定决心说道：“这样，那我改用汉军迎敌，用汉军兵法作战，不管怎样，这一次一定要取胜！”这一天，双方人马遭遇了。忽必烈看见乃颜的10万大军，用战车围成整齐的阵势，准备与自己的军队决战。他不动声色地看清了敌人的阵势，便骑马回营。这时候，忽必烈已经想好了破敌之策。第二天的时候，忽必烈坐着由四头大象拉着的战车，大象身上都披着铠甲。然后，他指挥着步兵和骑兵，向乃颜的营垒发动进攻。这一仗，打了整整半日，乃颜的车阵终于被攻破。乃颜被包围起来，想借机逃跑，不料一声大喝从后面传来：“乃颜往哪里跑！”元军大将玉昔帖木儿一把将乃颜拉下马来。忽必烈处死了乃颜，平定了叛乱，稳定了全国的局势。
这时，忽必烈虽然占据了半壁江山，但是并不满足于自己的成就。他要扩张领土，当时在政治上已经腐败的南宋王朝便成为他开拓疆域领土的首要对象。
对于南宋，忽必烈采用了政治配合军事的方法。在伯颜率军出发之前，忽必烈曾经多次告诫他在征战中不要滥杀无辜百姓，以收服民心。1275年二月，忽必烈对一些归附的南宋官吏说：“种田的要继续荷锄下地，经商的要开门做买卖，其余三教九流、五行八作的人都要各安己业。如果官吏有任何骚扰百姓的不法行为，任何人可以向中书省控告。”这些重要的姿态都表明了忽必烈一旦在南宋王朝灭亡之后，一定会保存原来的风貌，并保证归降官民的既得利益。这对于加速南宋王朝的覆灭造成了积极影响。
1276年，元军兵分三路进攻临安，南宋官员纷纷溃逃。至此，忽必烈灭亡南宋的计划已经逐渐实现。1279年二月，陆秀夫背负小皇帝赵昺跃入广东崖山下的大海，张世杰在得知噩耗后也因悲痛而跃入大海。至此，南宋王朝最后一线希望已消失得无影无踪，忽必烈真正完成了中国的统一大业。
此后，忽必烈更是突破了民族界限，大力提拔汉人，对那些思想保守的蒙古贵族弃而不用，建立起了一个疆域空前辽阔的国家。
守成之君铁穆耳
在忽必烈建立元朝之前，蒙古国并没有明确的立储规定，只有在大汗临终时才会用遗训的方式确立接班人。到忽必烈在位时期，他率先确定了嫡传世袭制度，并将皇子真金立为皇太子。后来，真金由于体弱多病，不幸夭折。忽必烈便改立真金的儿子铁穆耳为皇太孙。忽必烈死后，铁穆耳便继承了皇位，即元成宗。
铁穆耳即位后，在内听命于皇后，在外则依靠完泽、哈喇哈孙等大臣的扶持。同时，他还有一个极为显著的特点，那就是对于忽必烈定下的典制，他如同萧规曹随一般，没有对其做出丝毫的改变。也正是因为这样，他统治下的王朝社会安定，没有动乱，历史上也因此将其称为“守成之君”。
“守成”便是“墨守成规”的意思，他最大的特点便是“以安静为治”。因此成宗即位后，起用的军国重臣，基本上维持了忽必烈后期的大臣，这便从人事方面保证了按照世祖遗规“持盈守成”的国策。并且，成宗给前朝功臣都加封了各种荣誉头衔，不仅表示了尊重，还表示了酬谢。其次，成宗“一遵祖法”，按照世祖时期的定制，坚持蒙汉合璧的政治制度。为了维持政权的稳定，各种制度、机构除了有很小的变动外，一概都是遵照过去的定制。另外，成宗在位的时候，行“宽大”之政，他宣布了许多减免赋税、救灾济荒、减轻百姓负担、与民休息的好政策。对一些遭受兵灾、水灾、旱灾和地震的地区，时常下诏减免赋税。
1296年，成宗要求权贵豪绅交出他们隐藏的江南田租，以减轻农民的负担。1298年，水旱成灾，成宗下诏减免受灾郡县当年田租的3/10，受灾严重的地区则全部减免，老弱残疾以及人丁稀少的民户免除3年的赋税。同时，停止了很多当年的大型土木工程。第二年，成宗又派使节巡视各地，了解民间疾苦。在减轻民众负担的同时，成宗三令五申，要求地方官员鼓励农桑，发展生产。这些措施的实施，对于维持政治、经济上的相对稳定都起到了积极的作用。但是，成宗本人却没有祖父忽必烈的才干与威信。扶持他的大臣完泽也不是足以替代前代领导的人物。因此，在成宗、完泽宽容和无效的管理下，朝政失去了行政活力和财政平衡。官员队伍也迅速膨胀，朝廷和京城的官员核计的定额为2600人，而御史台在公元1294年上报的京城官员就超过了1万人。由于各行省官府冗员大量增加，行政效率便变得非常低下。
最为严重的是，官员贪污腐败之风越演越烈。据《成宗本纪》一书记载，1302年，元朝廷贪污的官员多达近两万人，贪污的赃银合计5万锭。这一年元朝廷还查处了一起案件，海盗朱清与私盐贩子张碹，利用为元廷运送粮食的机会，私自从事海外贸易，积聚了大量的财物，被指控后，他们的家人被全部囚禁，财产也被全部没收。这就说明，当时官吏贪污腐败问题已经非常严重了。
当然，常年大兴佛事也是造成财政困难的另一个重要原因。成宗奢侈成性，常常给予皇室成员巨额的奖赏，单赐给三个驸马的银子就高达12万两之多。此外，成宗给皇室成员的岁赐也要比忽必烈时期多上许多。在成宗即位之后的两个月，中书省便上书说：“朝会赐予之外，余钞尚有27锭。”可以说，忽必烈时期的财政储蓄，几乎全部都用在了支付皇室成员和功勋大臣的赏赐上。也正是因为这个原因，才造成了财政匮乏。换而言之，元廷从成宗铁穆耳的守成时代便已经开始走向衰落了。
1307年，铁穆耳去世，年仅41岁。同年，忽必烈的曾孙、铁穆耳的侄子海山即位，是为元武宗。
“汉法治国”的元仁宗
1311年三月十八日，元武宗驾崩，他的弟弟爱育黎拔力八达继承皇位，是为元仁宗。他的即位，创造了元朝历史上无人争夺皇位便顺利登基的先例。
知识链接
《农书》
元代三大农书元朝统一以后，农业得到了恢复和发展，并且还出现了三部在农业方面的著名书籍——《农桑辑要》、《农书》和《农桑衣食摘要》。其中，《农桑辑要》是我国现存最早的由国家组织编写的农书。这本书中针对黄河中下游地区的农业生产，做了详细的记述，为当地的农业发展提供了宝贵的资料和经验。同样，王祯编写的《农书》也是一部大型综合性的农书。书中绘有308幅农器图，是目前现存最早、最全的农具图谱。因此，这本书又被称为中国最早的图文并茂的农书。而维吾尔农学家鲁明善编写的《农桑衣食摘要》则是一部以月份为顺序，记述全年各个时节农业活动的农学巨著。
元仁宗即位之后，首先将元武宗建立的尚书省撤销。而后，又采取了很多重要的措施，进一步推动了元朝的汉化和儒化改革。原来，元仁宗从小就深受中原文化的熏陶，在藩府中聘养了很多当时的名家。因此，仁宗在位的时候，以尊孔重儒、勉励学校培养人才为先导，一步步地推行科举。
1313年，元仁宗颁布诏令，实行新的考试制度，考试的科目以经学为主、文学为辅。他指定朱熹集注的《四书》为考生们参考的标准用书，并以朱熹和其他宋朝儒学家注释的《五经》作为汉人参试者增试科目的标准用书。
元仁宗所拟定的实施细则与科举制度，可以说是非常的具体、详细、周全，方方面面都做到了认真的考虑。这一科举制度以及实施细则不仅是元代举行科举应试的指南，而且对明清两朝实行科举取士的办法也产生了巨大的影响。
1315年三月，元朝实行科举制度的首场廷试在京城大都举行。元仁宗亲自会试天下进士，并且任命李孟伟为廷试的监试官，另一位元朝儒学家明善，也首次担任考试官。这次廷试，一共有56人及进士第。在政治上多少满足了汉人开仕的要求，同时也适应了元朝统治者以儒治国的需要。
在开设科举考试的同时，元仁宗也大力兴修法典，普及文化。然而，仁宗大兴“汉法”却遭到他母亲答己太后的强烈干扰。因为答己太后深信佛法，与儒家思想相冲突。仁宗无法仿照中原的传统方式来改革元朝政府。因此，不能彻底地削弱蒙古诸王的行政权、司法权和经济特权来加强中央集权，使仁宗的“汉法治国”成了一场虎头蛇尾的行动。
答己太后十分宠信权臣铁木迭儿。铁木迭儿在武宗时期便是元廷的一品大员，他曾在云南做过地方官，因玩忽职守而受到处分，却受到了答己太后的保全。武宗死后，答己太后为了扩充自己的势力，乘仁宗尚未执政的时候，下诏将铁木迭儿封为中书省右丞。
虽然铁木迭儿曾被内外监察御史等40多人弹劾，但在答己太后的支持下，铁木迭儿始终掌握着重权。仁宗在位的最后两年，围绕铁木迭儿的权力之争，使朝廷统治陷入了混乱。
元仁宗性格仁慈，对母亲答己太后非常孝顺，因此也显得十分软弱无能。他之所以没有除掉铁木迭儿，就是因为他不愿意触犯和反抗他的母亲。其次，仁宗的儒家统治在思想和政治上都无法为元廷的权力体制所接受。这种政策有损于蒙古诸王和官员的传统政治和经济特权。
于是，在代表仁宗意志的儒臣与铁木迭儿对抗中，得不到蒙古官员的支持。仁宗朝开启了科举取士制度的开端，被后世史学家誉为“延祜儒治”。但是，因为没能从根本上改造蒙古元朝的整体结构，元朝汉化的历程又一次遭遇到了重大的挫折。
1320年正月，元仁宗去世，终年35岁。他的嫡长子硕德八剌即位，为元英宗。18岁的元英宗即位后，以仁宗时期“汉法治国”的措施为核心，大力改革了政治。
天灾人祸
在元英宗的改革下，元朝国势大有起色，但新政却触及到了蒙古保守贵族的利益，引起了他们的不满。同时，英宗还下令清除朝中铁木迭儿的势力，随着清理的扩大化，统治阶级内部的矛盾越发尖锐起来。
至治三年八月初四（1323年9月4日），铁木迭儿的义子铁失趁着英宗从上都避暑结束南返大都途中，在上都以南15公里的南坡刺杀了英宗等人，史称“南坡之变”。
“南坡之变”32年之后，由于元朝高压的民族政策和水、旱等灾害的双重压迫，爆发了轰动一时的红巾军大起义，元朝的统治在风雨飘摇中开始走向了末路。
元惠宗当政时期，中央政府的官僚之间为了争权夺利打得不可开交。同时，地方政府的各级官僚，则疯狂地搜刮民脂民膏。元惠宗还实施发行纸钞的政策，但遭到了很大的失败，这就促使政府印刷的钞币很快贬值，贬值最后带来的损失则直接转嫁到了广大百姓的头上。
上级官吏搜刮下级官吏的财物被称为“拜见钱”，官吏再搜刮下级官吏的钱又被称为“人情钱”，逢年过节搜刮百姓的钱财称为“追节钱”，日常办事而搜刮来的钱财名目更是五花八门，无奇不有。另外，由于上行下效，政绩的优劣来已经不能作为衡量官吏的标准，而是根据年纪的大小。史书记载：“岁者优先委任。”这些老官上任之后，自然要尽力搜刮，力求搭上敛财的末班车，以免年老无官的时候无财再敛。
而中央各部官员争权也愈演愈烈，无暇顾及到地方官吏的任命，使各地的地方官吏多有缺额，部分地区的政府职能彻底瘫痪。仅山东一省，就缺宣慰司使两名，各总官府缺总管五名，还缺各知州三名，严重地削弱了元朝的统治力量，特别是中央对地方的控制力量逐渐衰落，从而导致元末农民起义开始蔓延到了全国。
政府的腐败已经让大元帝国的行政能力大为减弱，如果不实行改革，随时都有分崩离析的危险。但是，祸不单行，长年的自然灾害更是让元朝政府顾此失彼，难以招架。
当时危害最深的自然灾害主要是水涝、旱灾和地震等。公元1335年，江西发生重大水灾，百姓饥荒，元朝政府开仓赈灾。1336年三月，陕西又大旱，刮暴风，粮食全部损失。同年五月，南阳、邓州等地又连遭大雨，湍河、白河泛滥，造成大水灾。同年，江浙各地大旱，从春季到秋天没有下一滴雨水，饥民高达40多万人。政府用于赈济饥民的粮食达10余万石、钞40万锭。1337年，北方地区，包括大都、河北、河南等多个地方，又因连绵大雨而发生严重水灾。
不久之后，大都又发生了强烈地震，一直连续6天。1363年夏秋之交，河南遭受连绵大雨，百姓受灾，政府被迫出粮10万石用以贩灾。不久，江南部分地区又刮起暴风，发生地震，海水冲上岸，造成大灾难。5年之后，也就是公元1368年，全国又多处出现大灾害。大都下暴雨，连城墙都冲垮了。广西山崩，漓江泛滥，特别是黄河、汉水等大的河流，一旦泛滥，就会给百姓带来巨大的灾难。次年，各地又发大水，黄河决堤，酿成大面积的水灾，长江、汉水、蜀江也都泛滥。元朝政府调集大批劳力，对黄河进行修整，筑堤护民。但是，自然灾害带来的损失却是无法弥补的。由于各地的自然灾害频发所带来的严重恶果，导致了农民的大量破产，被迫为“寇”为“盗”。