北魏自孝文帝大规模汉化之后，统治阶层中不愿意汉化的鲜卑军事贵族，出现了强烈的反弹，最后北魏分裂，形成东西两部分。西部统治者宇文氏建立北周政权，最终统一了北方。宇文氏的成功在于，既保持了鲜卑人的战斗力，比照鲜卑人原来兵牧合一的军事组织，建立府兵制，同时力求保持鲜卑的简朴作风，甚至恢复原来鲜卑人的鲜卑姓，强令进入军队的汉人改鲜卑姓，呈现出鲜卑化的迹象。但是，另一方面，他又模仿西周官制进行改革，恢复六官制，力求制造直接承袭华夏正统的印象。而且，经过改造的府兵制，逐渐剥夺了各府将军的掌兵权，将府兵直接置于皇帝控制之下。就这样，在汉化与鲜卑化之间走钢丝的宇文氏获得了成功。但是，走钢丝维持不偏不倚相当困难，周武帝以后，继承者滑向了鲜卑化的一边，结果激起了已经势力很大的汉人普遍的不满。身为外戚和勋臣的杨坚，乘机代周而立，建立了隋朝。
隋朝的开创者对于制度建设从建国伊始，就表现出空前热情，显示出新朝气象。
首先，恢复并且健全了三省六部的中央机构，确立了中书省（时称内史省）草诏、门下省审核、尚书省执行的三权分立制衡机制。尚书省各部分工也进一步明确和固定。经过一个不长时间的过渡，形成了吏部、礼部、兵部、刑部、民部和工部的六部行政部门，每部下辖四个司，六部共二十四司。各部所辖的司，均跟本部事务相关，形成一个整体。隋朝在那个时代，应该是世界上分工最明晰的政府。后来的唐朝，只是将民部的名称改为户部，除此以外没有任何变化。三省六部进一步确立之后，原属九卿范围的各个监寺的地位继续下降，沦为可有可无的辅助性机关。这样的六部与监寺格局，奠定了此后官僚制帝国的基本行政架构。这种架构一直延续到了清朝末年，才被从西方引进的新式现代政府体制所取代。
其次，隋朝整理了魏晋以来混乱的地方区划，废除了所有的侨立州郡，将州、郡、县三级改为州县两级。改革后的州比秦汉时的郡还要小，进一步削弱了地方势力，以便于中央管理，但也使得地方区划过小，难以形成自主性。
其三，隋朝开创了科举制，这是官僚体制的最大转变之一。隋文帝杨坚虽然废除了九品中正制，但却回到了汉代地方推举的老路上，这实际上已经行不通。隋炀帝杨广，虽然被正史讥为空前的昏君和暴君，但在制度创新上，却有独到之处。正是他开创了考试取士的新制度。隋炀帝登基不久，就下令十科举人，其中就有“文才秀美”一科，而且是最为隋炀帝所看好的。随后十科减为四科，还是有“文才秀美”科，即进士科，进士科的取士，以考策论为主，考试在中央政府举行。汉代实行察举制的时候，也有考试，但是取舍主要依靠地方推荐，考试只是辅助手段（实际上，就是九品中正制下，世族子弟为官者也要多少显示一点文才才行），而科举制虽然也要靠地方推荐，但考试却是取舍的主要手段。从此，中国选举制度开辟了以考试作为人才取舍主要标志的科举时代。当然，南朝末年整个士林雅好文章辞赋，蔚成风气，影响到北方。上流社会以文采相尚，也对以文选人的选举制度的产生有促进作用。隋炀帝本人也具有相当的文才。据说，他曾经夸口说，就是跟士大夫们比文才，他也应该做皇帝的。有几个比他诗做得好的大臣，都被他借故杀掉了。这虽然表现了他的残忍，但也说明他的确非常重视文才。这也为后来整个社会重视诗歌、重视进士科的风气开了头。
隋炀帝爱做诗文，但有人超过他，就感觉不快。司隶薛道衡有佳句过之，遂寻事杀之。薛死后，炀帝还恨恨地说，看你还能作“空梁落燕泥”不？隋炀帝一次作《燕行歌》，令诸文士和之，著作郎王胄之作与炀帝不相上下，由此被嫉恨，王胄居然因此丢了命。王被害之后，炀帝也恨恨地说：“庭草无人随意绿”这样的诗句你还能写吗？（刘餗：《隋唐嘉话》上）
其四，隋朝完善了府兵制，建立健全了掌管与训练府兵的折冲府。在中央一级设置十二卫分管兵府，使寓兵于农的府兵体制更加制度化。
其五，隋朝整顿了长期以来混乱的律法。本着从轻的原则，删繁就简，制定《开皇律》，共有名例、卫禁、职制、户婚、厩库、擅兴、贼盗、斗讼、诈伪、杂律、捕亡、断狱等12卷。这部法律废除了车裂等酷刑，而且将死刑终审权收回中央，死囚须经大理寺复核才能执行。后来影响很大的唐代《贞观律》、《永徽律》，实际上都是《开皇律》的修订。其法律精神一直延续到清代。
最后，隋朝还开始着手重建礼制，清除北方少数民族统治的痕迹，比如恢复汉姓，恢复汉族文化习俗。其中，最重要的是恢复礼制。实际上，北方少数民族政权除了极个别以外，大多都有自己的礼仪规矩，但是隋朝以继承汉人正统自居，故而强调要恢复周礼。但实际上，据陈寅恪先生研究，隋朝甚至后来的唐朝所实行的，不过是南朝礼仪和北齐礼仪的复合体。
隋朝虽然完成了大多数制度的创制工作，但是，由于隋炀帝这个精力过于旺盛、却又少不更事的年轻皇帝的缘故，结果像秦朝一样，二世而亡。显然，作为一个以农业为经济基础的国度，尽管幅员广阔，国力强盛，但如果一味地大兴工程，盲目地对外开战，还是很快就会耗尽国力的。好在继起的唐朝几乎完全继承了杨家开创的制度遗产，并使之发扬光大，在政策上又刻意避免了前朝之失，结果成就了历史上的盛世。