贞观十六年秋，魏征病卧在家，已多日不能上朝，唐太宗顿时感到缺了个左右手，同时心中也真惦念他的病情。所以写了道手诏给他，诏中云：“不见数日，朕过多矣。今欲自往，恐益为劳。若有闻见，可封状进来。”魏征接读手诏后心情十分激动，也十分着急，多日不上朝，总觉得有一大堆事让他放心不下，但又无法下床出门，于是遵照皇上手诏的旨意，想到什么便都写成奏疏，一一及时使人递人宫中，疏中涉及方方面面的事，比如：“比者弟子凌师，奴婢忽主，下多轻上，皆有为而然，渐不可长。”又如：“陛下临朝，常以至公为言，退而行之，未免私僻。或畏人知，横加威怒，欲盖弥彰，竟有何益。
都是些平日积于胸中尚未来得及一吐的肺腑之言。这些上疏，皇上一一都细读了，得益至多。
唐太宗想到：魏征跟着自己辛苦了这么多年，家中竞还没有一所像样的厅堂，正好宫中准备要修建一座小宫殿，料也已备好，于是便下令先停建此殿，限时五天，把这些料运到魏室去为他修建厅堂。五天后大堂落成，皇上又派人送去了一套素屏风、素褥垫，以及几、杖等，都是最朴素、最实用的，因为皇上深知魏征一生都崇尚朴实无华，从不好糜事增华这一套的。
太宗这样体贴人微的关怀，魏征也真是由衷的感谢，为此专门上表申谢。皇上接表后又回了道手诏云：“处卿至此，盖为黎元与国家，岂为——人，何事过谢？’，在中国历史上，太宗李世民与魏征这样的一对好君臣，也真是数一数二的了。
此时，太宗心中也还能时时想着黎民百姓，这年冬十一月壬申日，他曾说过这样的话：“朕为兆民之主，一心就想让大家都富贵起来。倘若再能教他们以礼义，让他们都能年轻的敬重年老的，为妇的尊重丈夫，那么他们也就都贵起来了。
再加上减轻他们的徭役，降低对他们的征敛，让他们从事某种生业，那么他们不又都富起来了吗？要是全自家家都丰衣足食，朕哪怕不听管弦，也已乐在其中了啊！”有一次皇上问侍臣们：“自古以来，有时是君乱而臣治，有时是臣乱而君治，这两者相比，哪种更糟糕些呢？”魏征的回答是：“君治则对善恶的赏罚都会得当，那么臣下们也就都相安无事了，又怎么能乱得起来。要是不治的话，那必然就会放纵暴戾，刚愎自用，不纳良谏。那么就是有好的臣下，他们又怎能施展他们的才能呢？’’这立论显然是把君主看做是矛盾的主要方面，这是对的。太宗皇帝又举一事例来辩驳一下来，他说：“北齐文宣帝得杨情遵彦，这不是君乱而臣治吗？”魏征回道：“这不能算君乱臣治，只能算作暂救危亡，哪谈得上什么治呢？”
上述的君臣论辩，对魏征来说是最后一次了。后来他病情越来越恶化，迁延到贞观十七年春正月戊辰日，这位含辛茹苦、兢兢业业为太宗李世民奋斗了一辈子的魏征薨逝了，享年六十有四。
太宗皇帝亲临邸宅悼唁，为他大哭了一场，又为之废朝五日，追赠魏征为司空、相州都督，赐谥号日文贞，给羽葆鼓吹、班剑四十人，赠绢布千段，米粟千石，让他陪葬于太宗的昭陵。行将祖载举葬之时，魏征的妻子裴氏说：“征平生俭素，今以一品礼葬之，羽仪甚盛，恐非亡者之志。”于是把太宗送去的种种悉数都不接纳，只是用了辆布车来装载灵柩，车上车内一无文彩之饰。
太宗皇帝虽没有亲自去送葬，却诏令百官都去送魏征的灵车，送出京城好几里之外。而太宗却独自登上宫苑之西楼，目送灵车远远西去，灵车渐渐消失在茫茫之中，耳际哀乐声犹隐隐作响，太宗的两行热泪却久久尚未止住。
在目送魏征灵车西去之际，太宗皇帝百感交集，遂得诗一首，以寄哀思，诗云：
“阖闽总金鞍，上林移玉辇。
野郊怆新别，河桥非旧饯。
惨日映峰沈，愁云随盖转。
哀笳时断续，悲旌乍舒卷。
望望情何极，浪浪泪空泫。
无复昔时人，芳春共谁遣。”
后来太宗将此诗抄示众大臣时，大家读了也无不垂泪。
太宗又为魏征亲自撰写了碑传，还亲自书丹于石。这在中国历史上也是绝少有的事情，足证这对君臣间感情之至笃。
后来太宗对魏征还一直苦苦追思不已，又追赐他实封九百户。在那些悲痛的日子里，一次太宗上朝时对大臣们说：
“用铜来做镜子，可以帮助人正衣冠；用古代来做镜子，可以知道兴替与得失；用人来做镜子，可以明白自己的得失。朕就是常常持用这三面镜子来防止自己的过错。现在魏征他薨逝了，遂至失去了一面最重要的镜子啊！征亡后，朕派人去他家，在他的书函之中找到一张表文，是起的草稿，字迹很难辩认，只有前几行还稍稍可以读出，表文写道：‘天下之事，有善有恶，任善人则国安，用恶人则国乱。公卿之内，情有爱憎，憎者惟见其恶，爱者惟见其善。爱憎之间，所宜详慎，若爱而知其恶，憎而知其善，去邪勿疑，任贤勿二，可以兴矣。，这是他最后绝笔时所书如此，然而在朕思之，恐怕还难免会发生类似情况。公卿侍臣们可以把这段话抄写在牙简笏，以便知而必谏。”千古君臣梦——唐太宗和魏征这一对明君、直臣，留给了后人太多的追忆和思索。
会，在人们的性格中往往形成一些不健康的东西，譬如不对别人阿谀奉承比较容易做到，拒绝别人对自己的阿谀奉承则行之为难，有的人即令自己不屑于对别人阿谀奉承，但对来自别人的阿谀奉承却仍受之欣然。能够象世民这样，居帝位之尊而能自觉抵制对自己的“先意承旨”，确实是难能可贵的。皇帝做不到这一点，必然要受骗上当。
其次，君主要看一个臣下怎样向他反映别人的善恶，然后据以识别奸臣。魏征曾说：“君子不能无小恶，恶不积无妨于正道；小人或时有小善，善不积不足以立忠。”确实是，每一个人都有优点和缺点。如何向上反映一个人的善恶呢？魏征认为，“君子掩人之恶，扬人之善”。小人则专事告讦，而“告讦者进，遏恶者不齿，君子苟免，小人遂志”。世民本人也发现，“告讦之言，案验多谬”。这种人“告讦百官”时，“务行谗毁，交乱君臣，殊非益国”，因而世民下令，以后“有上书讦人小恶者，当以谗人之罪罪之”。
再次，既然君子亦有小恶，小人也有小善，皇帝在识别贤佞时就须抓住主流，否则就会以偏概全，仍然认不清忠贤和奸邪。
最后，为了鉴别忠奸，还必须防止左右陪伴君王的人蒙蔽皇帝，否则国君就难以洞悉幽隐。有一次宦官出使还朝，“妄有所奏”，世民大怒，魏征借机进奏：“阉竖虽微，狎近左右，时有言语，轻而易信，浸润之潜，为患特深。以今日之明，必无所虑；为子孙教，不可不杜其源。”世民笑着说：“非公，朕安得闻此言？”唐玄宗以后不少唐朝的皇帝为宦官所蒙蔽，不辨忠奸，就生动地证明了此点。只可惜世民抑斥阉宦的做法没有为后代所继承，致使朝政日非，民不聊生。
皇帝是否明于知人，是国家安危所系，所以魏征认为：
“知臣莫若君，知子莫若父。父不能知其子，则无以睦一家；君不能知其臣，则无以齐万国。”世民作为明君，不但有辨别忠奸的标准，而且对当时每个大臣所具备的优点和缺点了如指掌。有一次他对长孙无忌等人说：“朕闻主贤则臣直，人苦不自知，公宜面论，攻朕得失。”无忌不敢直陈，反而对皇帝歌功颂德一番。世民大失所望，因而面论群臣得失，并且首先提到长孙无忌：
“善避嫌疑，应对敏速，求之古人，亦当无比；而总兵攻战，非所长也。高士廉涉猎古今，心术聪悟，临难既不改节，为官亦无朋党；所少者，骨鲠规谏耳。唐俭言辞俊利，善和解人，酒杯流行，发言启齿；事朕三十载，遂无一言论国家得失。
杨师道性行纯善，自无愆过；而情实怯懦，未甚便事，缓急不可得力。岑文本性道敦厚，文章是其所长；而持论常据经远，自当不负于物。刘泊性最坚贞，言多利益；然其意上然诺于朋友，能自补阙，亦何以尚。马周见事敏速，性甚贞正，至于论量人物，直道而行，朕比任使，多所称意。褚遂良学问稍长，性亦坚正，既写忠诚，甚亲附于朕，譬如飞鸟依人，自加怜爱。”
对臣下了解得这样全面和准确，可以称得上是“知臣莫若君了。
唐太宗还特别强调指出，用人本来就是一种赏罚的手段。有一次就此对魏征说：“用得正人，为善者皆劝；误用恶人，不善者竞用。赏当其劳，无功者自退；罚当其罪，为恶者戒惧。故赏罚不可轻用，用人弥须慎择。”确实是，朝廷上什么样的人得势，政治风气怎样，主要取决于皇帝在进行赏罚和用人时鼓励什么。不过，在君主专制的条件下，皇帝个人的感情在这些方面有严重干扰，应当尽力加以排除；否则，国君的喜怒无常能导致赏罚失当。所以魏征明确地提醒世民，要做到“恩所加则思无因喜以谬赏，罚所用则思无因怒而滥刑”。尤其要注意防止“憎者唯见其恶，爱者唯见其善。爱憎之间宜详审。若爱而知恶，憎而知善，去邪勿疑，任贤勿贰，可以兴化矣”。国君只有做到不以感情代替原则和政策，才能真正赏罚得当。世民进行赏罚也出现过一些缺点和过失，但就总的方面说，错赏滥罚的事还是为数不多。他自己也说即位以后，“正直之士，比肩于朝，未尝黜责一人”。虽不免有夸大之处，但可以说基本上符合实际情况。
一个人有功也有过，就象既有优点，也有缺点一样，这是不可避免的，如何根据一个人身上并存的功过进行赏罚呢？
对此，李世民的主要做法是抓住主流，舍其支流。房玄龄、杜如晦和温彦博是当时的重臣，功绩卓著，但御史大夫萧踽却因数人“尝有微过”而“劾之”，世民对此事置而不问。后来有一次批评萧踽说：“卿之守道耿介，古人无以过也；然而善恶太明，亦有时而失。”恐怕所指的就是弹劾房、杜的那件事。
李靖征东突厥，“拓境至于大漠”，立了大功，御史大夫温彦博弹劾他“军无纪纲，突厥宝货，乱兵所分”。世民对这件事同样是“舍而不问”，并亲自对李靖说“隋将史万岁破突厥，有功不赏，以罪致戮。朕则不然，当舍公之罪，录公之勋也。”侯君集平定高昌后曾擅自“配没无罪人”，“私取宝货”，不禁将士“竞来盗窃”，并因此被劾下狱。岑文本认为，如果以此治罪，就会被天下人看作“唯录其过，似遗其功”，并且指出：
“古之人君出师命将，克敌则获重赏，不克则受严刑。是以当其有功也，虽有贪残淫纵，必蒙青紫之宠；当其有罪也，虽勤躬洁己，不免缺钺之诛。”李世民接受文本的意见，最后“乃释”君集。此外，对薛万彻也曾有“录功弃过”的事。因有大功而放纵臣下贪残不问，自然不免失之过宽；但世民不以细过而忘大功，则抓住了事物的主流，因而赢得大臣的赤胆忠诚，愿为皇帝舍生效命。
对于那些罪大于功的黩职贪官，素以行“仁政”著称的世民则从来不肯因小功而舍大罪，毫不宽容，坚决打击。他一贯“深恶官吏贪浊，有枉法受财者，必无赦免”。贞观二十年（公元646年），世民遣孙伏伽等二十二人巡察天下，一次就有“罪死者七人，流罪以下及免黜者数百人”。唐政权当时能够对贪官污吏进行有力的打击，正是它具有生命力的生动表现。历代到了高官显宦贪墨成风而皇帝对他们又莫可奈何的时候，说明这个王朝已经岌岌可危了。当然世民并不是单纯进行打击的唯惩罚论者，他深知“不教而诛”是错误的，因此对百官经常谆谆教导，讲明利害，告诫他们不要因贪纵而自陷刑网。世民实际是把赏罚与教育结合起来的双管齐下，因而曾经借评论古人而大发议论：“夫贤之立身，以功名为本；士之居世，以富贵为先，然则荣利，人之所贪；祸辱，人之所恶。故居安保名，则君子处焉；冒险履贵，则哲士去焉。”这样做是收到了一定效果的，如长孙顺德”素多放纵，不遵法度”，以至其“监奴受人馈绢”。世民发现后“于殿庭赐绢数十匹。以娩其心”，结果此人转变作风，以后“折节为政，号为明肃”，“称为良牧”。不过，教育不是万能的，对于那些明知故犯的贪官污吏，以赐绢娩其心的做法未必能收效，恐怕唯一的办法是严惩不贷。
唐太宗居帝位之尊而能自觉抵制对自己的“先意承旨”，并有自己独到的识别奸邪之法，从而将无德之小人挡在了朝门之外，其难能可贵之处和识人、用人之能，无须再用更多的言语来表述，只用“英明”二字足矣。