随着“四人帮”的下台，1977年黄克诚由外地回到了北京。1977年12月当选为中央军委顾问。1978年12月当选为中共中央委员中央纪律检查委员会常务书记。黄克诚担任中纪委常务书记之后，协助陈云处理日常工作。十一届三中全会拉开了拨乱反正、平反冤假错案的序幕，他有一大堆工作要做。
当时，邓小平、陈云交待中纪委常委：“要解放思想，把一些重大的党的历史问题弄清楚，必要时像当年在延安一样，搞个‘历史决议’以统一党内思想。”
邓小平还特别强调：“当年把刘少奇同志打倒，是不合法律程序的。一个国家主席，一张大字报、几个小将就把人弄下来了。还有中央专案组，在当时情况下也是不正常的，背着毛主席、党中央搞了不少名堂，不然情况不会这么复杂，要认真审查。”
根据邓小平、陈云的指示，黄克诚一直在调查刘少奇冤案形成的来龙去脉。此前，中纪委和中组部组成联合调查组，对刘少奇的案子进行了基本调查和复核，发现当初中央专案组在刘少奇案子上是搞了许多莫须有的材料，明显存在着一些不实之处。为此，黄克诚亲自指导调查工作，并同中央领导层中阻碍给刘少奇平反的领导人进行了针锋相对的斗争。
黄克诚清楚，刘少奇案件不是一个普通的冤案，它涉及党内在十一届三中全会后，两种不同的思想方法。一方面是实事求是、思想解放；一方面还是有人僵化教条，坚持“文化大革命”中所作的原报告的思想。他知道，不解决这个矛盾，刘少奇的平反工作是不会顺利的。所以，他在给陈云汇报时，也谈了自己对这个问题的看法，希望中央加快进程，加大力度，从根本上拨乱反正。
1978年，黄克诚在解放军总医院病房中仍坚持工作。在党的十一届五中全会召开前，中央政治局在人民大会堂举行了一次重要会议。会议上陈云代表大家对汪东兴、纪登奎、陈锡联、吴德进行了批评。同时，华国锋迫于压力，表示支持为刘少奇彻底平反。
事情到此，黄克诚知道为刘少奇平反的时机已经成熟。这时，他又组织复查组对刘少奇复查作最后的补充，并正式用报告的形式上报中央。
2月23日，中共十一届五中全会拉开序幕，会议通过了决定为刘少奇平反、撤销八届十二中全会强加给刘少奇“叛徒、内奸、工贼”的罪名和把他“永远开除出党、彻底撤消党内外一切职务”的错误决定。向全党宣布：因刘少奇问题受株连造成的冤假错案，由有关部门予以平反。
为刘少奇平反，这一对中共历史上最大冤案的纠正，从根本上否定了“文革”所谓的摧毁“以刘少奇为首的资产阶级司令部”的中心内容，进而为彻底否定“文革”扫清了道路。
拨乱反正，黄克诚功不可没。
1979年初，新成立的中纪委工作全面展开，全面落实党中央的部署，下大力处理历史积案。中纪委“二办”主要承办新中国建立以来，特别是“文化大革命”中所有历史事件的清查和审理工作。它包括审理林彪、江青反党集团案件，也就是后来提到的“两案”。
中共中央成立两案审理领导小组，胡耀邦担任组长，中纪委常务书记黄克诚负责审理林彪反革命集团，王鹤寿负责审理江青反革命集团。黄克诚任命曹广化专门负责此事。
曹广化进过广州农民运动讲习所，又上过黄埔军校。红军时期，在红四方面军机要部门工作，解放后担任总参防化部政委。“文革”中被打倒，粉碎“四人帮”后，担任解放军军事检察院检察长。此人政治立场坚定、责任心强，接手“二办”主任工作后，曹广化不负黄克诚所托，很快就同各同志一起把“特别重大、极其复杂”的林彪反党集团案理出了头绪。
1979年的夏天，陈云主持召开的中纪委会议上，黄克诚和王鹤寿分别汇报“两案”审理的情况，会场上展开了激烈的讨论。
黄克诚坐在陈云的身边。“两案”情况，他已多次向陈云汇报，并也多次得到他的指示，但这两个案子怎么定性，他还想说一说。
“现在，‘两案’情况基本清楚。对林彪集团的案子我清楚些。刚才听了江青集团的案子，对两个案子有了了解。两个集团，目的是一致的，中间有矛盾，这叫‘分赃不均’的矛盾。‘两案’合一就可以看出，这是我党一场夺权与反夺权、复辟与反复辟的斗争，是一场决定国家命运的大决战！”
黄克诚接着分析了“两案”的罪行，表达了自己的意见：“两案”问题，有党内错误，也有路线问题，但就基本罪行来看，它们是两个反革命集团，这两个集团已触犯了国家法律。这不是一般违反党规党纪，要交司法部门处理！
在国庆节后不久，中纪委正式报告中央：认定林彪、“四人帮”两个集团已经触犯中华人民共和国法律，建议提交司法机关处理。
平反冤假错案、审理“两案”只是吸取“文化大革命”教训，加强党的建设的开始，党更需要的是吸取历史经验教训，建立健全民主集中制、健全党规党纪、严肃党的法纪，黄克诚无时无刻不在思考这有关全党生死存亡的重大问题。我们党之所以犯如此错误，就在于党内无准则可言，党要管党就必须有一部准则。
不久，以胡耀邦为负责人的《准则》起草小组拿出了文件初稿，黄克诚认真地进行了研究和思考。待思考清楚，他便让秘书起草个意见，准备在适当机会发言表达出来。
有一天黄克诚叫来秘书，口授了他的几条补充意见：“搞《准则》，关键要突出集体领导，反对个人专断，八大党章有规定。要重申的是在任何情况下，都不得用其他形式的组织取代党委会及其常委会的领导。‘文革’中取消党委，那是多么深刻的教训啊，这一条很重要。”
《关于党内政治生活的若干准则》颁布后，黄克诚很拥护《准则》提出消除特权思想。他说这才是共产党人的做法，应当这样。
就在这之后不久，黄克诚的小儿子结婚。全家人都知道，黄老不会让大操大办。所以，没有安排筵席，也没买贵重家具，连花花绿绿的布置都没有，只是准备想用车去接一下女方，但连这个要求也没有得到黄克诚的同意。最后，黄克诚的小儿子骑着自行车把新娘接进了家门。这就是他的家风，一个共产党人的家风。
“文革”后社会上出现了全面否定毛泽东和毛泽东思想的一种倾向。黄克诚说，否定毛泽东等于否定我们的党，毛泽东的错误我们也有份，要给毛泽东一个公正的评价。
科学地评价历史人物难，尤其是评价毛泽东这样的伟人更难。1980年初冬。北京医院的一间病房里。黄克诚听秘书念着讨论《关于建国以来党的若干历史问题的决议》初稿情况的简报，舒展的眉头聚拢起来，渐渐陷入了沉思。
中央组织的对《决议》初稿的讨论，黄克诚因病住院未能参加。但他却时时惦记着《决议》的起草、修改和讨论情况。已双目失明的黄克诚，每次《简报》都让秘书读给他听。讨论中严肃、中肯的意见令他欣慰，但对毛泽东和毛泽东思想评价的某些片面观点又使他不安。
两年前黄克诚就有种隐忧，十一届三中全会以后，党开始纠正“文化大革命”和“文化大革命”以前的“左”的错误，当然包括纠正毛泽东晚年的错误。于是，海外议论声起，不少舆论揣测中国要搞“非毛化”。国内也有人要求全盘否定毛泽东，以为毛泽东思想不适用于新的时期了。一些老战友、老同事和老部下来看望黄克诚时，也因曾受打击和磨难而对毛泽东表示某种怨恨，有的言辞还相当偏激。
黄克诚不同意全盘否定毛泽东，也不同意放弃毛泽东思想，他担心这个问题不解决好，会给党的事业带来损失。这位同毛泽东有着几十年共同战斗经历的老将军，最了解毛泽东和毛泽东思想在中国历史上所具有的非凡地位。
黄克诚多次坦率地表示了自己的看法，为此，他甚至同一些老战友、老部下发生争论。
1980年12月，中央纪委召开第三次贯彻《关于党内政治生活的若干准则》座谈会，担任中纪委常务书记的黄克诚经过多日的考虑，在会上就对毛主席的评价和对毛泽东思想的态度问题作了一次系统的阐述。
黄克诚认为，在中国革命的历史上，毛泽东是一面举世公认的旗帜，一个光彩夺目的象征。否定毛泽东，就只能导致否定中国共产党，否定社会主义祖国，最终也就会危害党和国家的根本利益，危害了10亿人民的根本利益。
他说：“过去解放全中国、建设新中国，我们这些老共产党员都尽了一份责任，功劳大家有份。现在如果把错误都算到一个人身上，好像我们没有份，这是不公平的。我们大家来分担应该分担的责任，那才符合历史事实，符合唯物主义。”
有人问他：“不让毛主席一个人承担的责任，你承担不承担？”
黄克诚答道：“我也要承担一些责任。但对于‘文化大革命’我不能承担责任，因为那时我已不参加中央的工作，没有发言权了。”他认为，凡是他有发言权的时候，他没有发表意见反对错误的决定，那么事后他就不能推卸责任。
黄克诚认真地分析了毛泽东晚年犯错误的历史原因和社会原因，以及个人原因。黄克诚认为，毛泽东的本意是想把事情办好，但不幸的是出了一些乱子，他的错误是一个伟大革命家的错误。
但坚持并不意味封闭，黄克诚进一步指出，毛泽东思想作为一个科学体系，有一个不断丰富和发展的过程，我们应该通过后人的斗争实践弥补前人的不足，不断丰富和发展毛泽东思想，在这面光辉的旗帜上写下新的篇章。
黄克诚的讲话在与会者中引起强烈反响。消息不胫而走，许多人纷纷索求讲话稿。中纪委内部刊物《党风与党纪》在1981年第二期最早全文刊登了这篇讲话。不久，《解放军报》也以署名文章的形式，公开发表。
讲话公开发表后，引起更为广泛的反响。党内党外，国内国外，各种议论都有。虽然大多数意见是赞同的，但也有反对的，甚至谩骂的。
许多人听了讲话的传达，或是读了文章之后，心悦诚服，不少人还流下了感动的眼泪，对这位曾经遭受巨大打击的老人，如此公正、客观地评价毛泽东和毛泽东思想，表示由衷的敬佩。黄克诚每天还收到大量的来信，绝大多数也是赞同和支持他的讲话和文章的。秘书每天都挑选几封念给他听。
“来信只是一片赞扬声吗？”黄克诚有次问秘书。黄克诚心里清楚，有人并不高兴，指责乃至挖苦的话也传到了他的耳朵里。黄克诚并不是没有想到，他在座谈会上就说过：“我的讲话，有些同志听了可能不痛快，请他们原谅。”
秘书告诉他，也有少数来信持反对意见，他让秘书选几封念给他听。秘书选了三封有代表性的信：一封是对文章表示质疑，一封是认为讲话和文章不符合当前的形势，还有一封匿名1981年，黄克诚与夫人唐棣华在北京西郊玉泉山合影。信是谩骂。
黄克诚并不生气，他边说边笑着说：“什么事都不可能一致，要听听反对意见。有两种声音是正常的。有反对意见，这没什么，即使是骂我，我也不在乎。如果当面骂，我看可以互相交换看法，甚至可以争论，讲清道理。如果是背后骂，我就只当听不见吧。”
两个多月后，在人民大会堂会议厅，出席中共十一届六中全会的195名中央委员和114名候补中央委员，庄严地举起右手，通过了《关于建国以来党的若干历史问题的决议》。
1986年的深秋。北京。301医院。太阳透过玻璃窗，洒进了病房，依偎着黄克诚。
这天，他躺在病床上，借助呼吸机平稳地呼吸着。在医院的病房里他过了自己简朴然而热闹的最后一个生日。夫人唐棣华在他示意下，带着孩子们走出病房，来到休息室，切开了两盒蛋糕，一一送给了医生、护士，并说：“谢谢你们对黄老的精心治疗。你们辛苦了！”黄克诚听着，脸上现出了微笑。黄克诚大将就是这样微笑着来面对死神。
1986年12月28日11时15分，黄克诚走完了他人生道路的最后一程，溘然长逝，终年84岁。