玄武门之变，秦王李世民杀了哥哥李建成，弟弟李元吉，逼迫唐高祖李渊立他为太子，把王位传给了他，一场你死我活的宫廷斗争终于结束。秦王府的人个个在肚子里打起小算盘，算一算从此以后，自己该捞着什么样的好处。
人们看到，长孙无忌、杜如晦、尉迟敬德等一班立了大功的，个个升官封侯，尉迟敬德甚至封了吴国公。人们在皇上身边，还看到了好些新面孔，这本来是很正常的事，皇上理应招揽更多的人才。但是，秦王府的人，在那些人中看到几张熟面孔之后，心里就不能平静了，因为那几个新人，正是原来太子和齐王身边的干将。最让人侧目的，要数原来跟随太子的魏征。
据说，李世民在玄武门之变后，立即把魏征找了去，沉着脸责问他：“听说你给原太子出了好多点子，你为什么挑拨我们兄弟之情？”谁知这位原来东宫的红人居然神情自若，挺着脖子回答说：“可惜太子不肯听我的话，否则怎会落到今天这地步！”在场的官员听了，都替魏征捏一把汗，只怕他这种话会招来杀身大祸。可是，李世民看到魏征性格耿直，一脸正气，不但没有办他的罪，反而让他当上了谏议大夫，专门负责向朝廷提出意见。
尽管秦王府那些没有升职的旧人对李世民重用魏征等人颇有意见，但李世民依然对魏征等人委以重任。魏征当了谏议大夫，也绝不因为自己原来的身份而谨小慎微，他依然像往常一样，有话就说，有意见便直接上书，办起事来也一如既往，当断则断，绝不手软。
当初，李世民当太子不久，为了安定人心，特别宣布了大赦令：在玄武门之变之前与原太子和齐王有关系的人，一律无罪，任何人不得借口加害，否则要办他们的诬告罪。但地方上的官员不相信李世民会这么大度，还在继续查办原太子和齐王旧党。李世民听说后，便派魏征去河北贯彻自己的大赦令。魏征行到半途，迎面便碰上地方官解押进京的两名犯人，罪名恰恰便是原太子和齐王的旧党。同行的官员都替魏征犯难，只恐怕今后有人会说他徇私包庇旧友。可是，魏征下了决心，对副使说：“为了替太子和国家消除祸害，我不能为了避嫌而掉头不管。不赦免这两个人，大赦令说得再好听，也不会有人相信。”
他毅然下令当场释放了这两个犯人。回到京城，李世民特别夸奖魏征办的这件事，这以后，对魏征更加信任了。
李世民登基后，有一次派人征招各地府兵，有一位秦王府的旧臣封德彝上书道，不满18岁的男丁，只要身材高大，也可以应征。唐太宗认为有理，已经同意了，可是诏书一直被魏征压着不发。唐太宗催了几次，心里很不高兴，便派人把魏征找来，训斥他说：“那些男子高头大马的，明明是隐瞒年龄，这种刁民为什么不能征招？我的诏书你怎么能扣着不发布？”
魏征听了，立即反驳说：“当君主的人怎么能不相信自己的百姓？如果不满18岁的男子招来当兵，以后再要征兵，兵从哪里来？赋税又由谁来出？陛下的诏书明明说定招18岁以上的男子，这么做不是不讲信用了么？”
唐太宗不服气，反问说：“我怎么不讲信用了？”魏征不慌不忙回答说：“陛下不讲信用已经不止一次了。陛下登基时曾说过，过去拖欠国家的赋税一律免了，可是您手下的官员却照样征收，陛下可知晓？陛下曾下令免去关中百姓赋税二年，免去关外百姓劳役一年，照理说劳役和赋税都与征兵相当，现在却又要征兵，这不是失信又是什么？陛下可得以诚信待天下百姓那！”
一席话说得唐太宗哑口无言。过了一会，唐太宗才苦笑着说：“我以往总觉得你魏征固执得不通情理，现在才知道你坚持的是国家的利益，错了的反而是我啊！”唐太宗立即下令，免征不满18岁的男子。
唐朝天下渐渐安定了，唐太宗在一批人的撺掇下，动了到泰山封禅的念头。满朝文武都以为这是盛世之举，唯独魏征以为不可。唐太宗生气，对魏征说：“你不同意封禅，是认为我功不高，德不厚，还是以为国家未安定，收成不丰足呢？”魏征回答说：“现在，隋末大乱造成的户口减少尚未恢复，粮食还不够充实，如果陛下车驾东巡，千乘万骑的供给势必靡费百姓有限的资财，远方各国的君主也要跟着来泰山，百姓更难胜任。这种有百害无一利的事，只是为了图个虚名，陛下为什么要急着办呢？”一席话，平息了唐太宗到泰山封禅的念头。
这以后，凡是唐太宗要修宫室，或者不肯接受谏官的正确意见，甚至在宫中逗玩小鸟，只要被魏征知道了，他总要上书劝说。这使唐太宗十分恼火。有一次退朝，唐太宗恨恨地对长孙皇后说：“这个乡巴佬，又当着众人的面顶撞我，让我下不了台，真是可恶极了！”过了一会，他看到长孙皇后穿着凤冠霞帔，恭恭敬敬前来向他道贺，不禁十分奇怪。长孙皇后行过礼，对唐太宗说：“君主圣明，臣下才敢直言进谏。陛下有魏征这样直言的贤臣，我怎能不来道贺呢？”听了皇后的话，唐太宗终于消了气，不再计较魏征的固执了。
贞观十六年（公元643年），魏征生病去世了。唐太宗十分悲伤，亲自为他写了碑文，并且对臣下说：“贤明的臣子就好像一面镜子，君主可以从中照出自己的过失。现在魏征死了，我是失掉一面镜子啊。”