黄克诚回到北京后，先后任解放军总后勤部部长、副总参谋长、总参谋长，为军队建设和军事后勤现代化作了贡献。但庐山会议上毛泽东讲他是彭德怀的政治参谋长，黄克诚开始了艰难的历程。
1952年8月，黄克诚离开湖南赴京任职。10月份接任中国人民解放军第三副总参谋长和总后勤部长兼政委，主持总后勤部工作。
1956年10月，黄克诚(右)与粟裕观看军事演习。新中国建立之后，尤其是经过朝鲜战争，后勤工作面临的任务已同东北时期的后勤的格局大不相同了。中央和军委认为，必须加强全军后勤的现代化建设。这次，毛泽东再次点将黄克诚。
黄克诚对于搞后勤工作可谓驾轻就熟，加上当时总后的一些领导，多与黄克诚共过事，大家彼此都很了解，所以，他一上任就直说：“我一向认为，领导任何工作，都必须掌握主动，绝不能被工作推着走，搞成被动应付的局面。无论事情怎么杂乱、困难，我们都要把局面迅速打开！”
黄克诚深入部队进行调查，然后召集总后的各级领导开会。会上，黄克诚指出人才是发展后勤工作的关键所在。他说道：“过去有人搞军事，也有人搞政治，可都不愿搞后方和后勤；还有的受传统影响，把筹款筹粮简单化了，把后勤不当学问；还有，过去老弱病残搞后勤，现在老的更老，弱的更弱，再不出人，怕后勤就青黄不接了。”
因此，黄克诚给总参打了一份办后勤学院的报告，送到了总参，经粟裕批准，再上报毛泽东。毛泽东阅后，当即批准，并将原件中一句“后勤工作日益重要”改成了“极其重要”！
黄克诚到总后时，朝鲜战争已接近尾声，但朝鲜战场上现代化战争给共和国带来的思考才刚刚开始。
黄克诚请贺诚来考虑现代化战争的后勤医学防护问题，这位北伐军的军医处长曾在苏联留学，学过现代医学。朝鲜战场上的战伤、冻伤、烧伤的防护问题，未来战争中非常规武器的使用问题等都给军事后勤工作带来了新挑战。
黄克诚对贺诚说：“未来的仗，恐怕再不是现在这个打法。美国人用核老虎吓我们，还动用了生物和化学武器。这方面，我们过去没研究，将来一旦打核战争、生物战和化学战怎么办？怎么防护、怎么治疗、怎么检测，等等，要研究，要拿出一个对策来。”
贺诚很佩服黄克诚的想法，他说：“上海有军事医学院，办的时候起点比较高，主要是研究战争中的医学问题，集中了一大批科学家，搞现代战争的医学研究潜力很大。”
“放在上海不行，搬到北京来！”黄克诚很坚决。一纸命令，军事医学科学院由上海搬到北京西郊附近。贺诚亲自挂帅，核防护研究所、生物武器防护研究所、防化医学研究所相继成立。这些研究所的建立，使我国军事医学的“三防”研究在相当长时间内保持与世界军事医学领域的发展同步。
在许多复杂的关系中，当时最难的就是修建营房的问题。全国战争结束时，数以百万计的军队借住了许多民房和地方办公用房。时间长了，群众有意见，军队也不方便。考虑到大规模战争已经结束，军队相对稳定了，黄克诚请示中央军委，决定军队营房化、固定化。
考虑到设计、审批程序复杂，黄克诚征求部队官兵意见，决定让部队自己动手，经费包干使用。造价包干后，超过不补，节余归己。这样办，问题就简单了。部队自力更生造营房的积极性得到了极大的提高，盖得又快又好又节省，军队住进营房，退还民房，军民皆大欢喜。
朝鲜战争结束后，毛泽东便委托彭德怀全面负责军队工作。全国人大正式任命彭德怀为国务院副总理兼国防部长，粟裕任总参谋长，黄克诚任国防部副部长，仍兼副总长。从此，黄克诚的主要精力就放到军委、总参的日常工作中去了。
不久，毛泽东召开军委会议，正式将军队工作交给彭德怀主持，黄克诚帮助彭德怀处理日常工作，成为彭德怀的主要帮手。毛泽东在军委扩大会议上曾有一段话：“我四年未管军事，一切推给了彭德怀同志。讲责任，第一位是我，第二位是彭德怀，第三位是黄老，因为他是秘书长。”从毛泽东的这段话中，可见黄克诚当时的地位和作用。
地位高了，作用大了，但工作并不好搞。当时，处于共和国开创时期的军委和总参，工作千头万绪，要解决的问题很多。
各军区、各军兵种初建时期的领导人，都是身经百战的将军，魄力大，个性强，工作积极性非常高，都要在新的岗位上打开局面，这就涉及到人力、物力、财力在各部门的分配问题。各部门的争吵时有发生，这都需要由黄克诚出面解决。
在解决争端的过程中，总会有各种各样的指责。对此，黄克诚自有他的办法。他说：“我们不要怕骂，当面骂就同他们讲道理，背后骂就只当不知道。共产党员只要做的事对国家对党有利，就要任劳任怨，挨骂、受气都是光荣的。对工作要从党性原则出发，不要计较个人得失。”
黄克诚把个人得失放在一边，在这个重要而艰难的岗位上一干就是好几年。他建立了一套军事工业体系，各种兵工厂，国防工办和军事工业学校；受命研究裁军方案，精简机构，实行兵役制度改革，实行义务兵役制；正式确定军队领导体制为党委领导下的分工负责制等等，为人民军队的正规化、现代化建设，可谓是呕心沥血。
1955年9月27日，黄克诚被授予大将军衔。
1955年9月，黄克诚(左二)同粟裕、谭政、萧劲光、王树声在授军衔仪式上。1959年，庐山会议召开。会议原定议题是总结经验，纠正“共产”风、浮夸风、高指标等“左”的错误，讨论下半年和以后四年的经济工作任务。但在会议过程中，毛泽东与彭德怀等人发生了分歧，在会议即将结束时，彭德怀又给毛泽东写了封着名的万言书提了不少意见。毛泽东决定延长会期。
黄克诚奉命从北京兼程抵达庐山，不知是偶然还是出于其他考虑，他被安排与彭德怀同住一幢房子，而且是隔壁。
第二天早晨黄克诚与彭德怀相见了，彭德怀问黄克诚：“我给主席的信你看了吗？你觉得怎么样？”
黄克诚直截了当地回答：“不怎么样。有意见可以当面说嘛！写信干什么？信里有些提法和用词也不太妥当。”
晚上，周小舟、周惠、李锐三人来到黄克诚住处看他。谈起形势，他们都一致认为，不改变“左”的方针不行，而且都感到会议有压力，不能畅所欲言。随后黄克诚又和李先念谈了谈看法，看法也是一致的。
18日到19日，第五小组会讨论了彭德怀的那封信，不少人发言同意彭德怀意见。黄克诚在19日的发言中，比较全面地阐述了自己的观点，支持了彭德怀的意见。
这次讨论，最令黄克诚担心的是粮食问题。会上，有人把粮食产量数字扩大到7000亿斤，还说什么，人均产量超千斤，6亿人口粮食过关了。
“不对，这个数字不符合实际情况。”黄克诚又一次站出来反对。
“这话是谁说的？”有人质问。
“是我说的，而且你也说过。”黄克诚语气非常强硬。
在双方矛盾十分尖锐之时，毛泽东召开大会发表讲话，迅速扭转了会议方向。毛泽东的讲话，支持了“左”派，劝告了中间派，警告了“右派”，表明他已经把会上意见的不同，作为党内路线斗争来看待了。毛泽东的讲话对“右派”无疑是当头一棒，大家十分震惊。黄克诚的心情十分沉重，不明白主席为什么忽然来一个大转变，把纠“左”的会议，变成了反“右”。
就在黄克诚反复思索而不得其解的时候，他同周小舟等的谈话竟成了“反党集团”活动的罪证。
7月23日晚，周小舟、周惠、李锐三人因想不通，来到了黄克诚房间交换意见，他们非常激动，说：“我们都快成了右派了。”
“别着急，主席支持左的，也不会不要右的。”黄克诚谨慎地安慰他们。
“主席这样突变有没有经过政治局常委讨论？主席有没有斯大林晚年的危险？”周小舟问个不停。
“有意见还是直接向主席提出，我们现在这样谈论，不太好。”黄克诚打断了周小舟的提问。之后，他们又谈了些湖南的情况。
7月26日，毛泽东又传指示：要对事，也要对人。这成为会议的又一个转折点，使“左”派批评火力大大加强，把目标集中到彭德怀，同时，所谓“军事俱乐部”、“湖南集团”的提法也接踵而来，而彭德怀和黄克诚他们这些人就只有作检查的份了。
黄克诚在检讨中，谈到自己思想方法上有许多考虑困难和不利因素的老毛病；也谈到对彭德怀信有些地方用词不妥，而自己认识不到问题的严重性等等。
在批判斗争不断升温时，7月30日，毛泽东召集黄克诚、周小舟、周惠、李锐四人去谈话。这次谈话，毛泽东给这位心直口快、对党对人民忠心耿耿的革命老臣戴上了几顶帽子：一是彭德怀的政治参谋长，二是“湖南集团”的首要人物，三是“军事俱乐部”的主要成员。同时，还说他与彭德怀的观点基本一致，与彭德怀是“父子关系”。
“我与彭德怀观点基本一致，只能就庐山会议这次的意见而言。过去我和彭德怀争论很多，有不同意见就争，几乎争论了半辈子，不能说我们的观点基本一致。我认为我们的关系是正常的，谈不上什么父子关系。”黄克诚答辩道。
“理性和感情是一致的东西，我自己总是一致的。看来我不了解你和彭的关系，也不了解你这个人。
“我当彭总的参谋长，是毛主席你要我来的。我那时在湖南工作，并不想来，是你一定要我来。既然当参谋长，政治和军事如何分得开？彭德怀的信是在山上写的，我那时还没有上山，怎么能在写‘意见书’一事上当他的参谋长？我在湖南工作过多年，和湖南的负责同志多见几面，多谈几次话，多关心一点湖南的工作，如何就能成为‘湖南集团’？至于‘军事俱乐部’，更是从何谈起？”
这次谈话，黄克诚感到轻松。虽然毛泽东对他大加指责，但他还是把自己想谈的问题都说了。之后，批判彭德怀运动进入高潮，厄运像滚滚潮水，不可遏止地向彭德怀、黄克诚、周小舟袭来。
黄克诚一生正派，即使在毛泽东面前，也绝无奴颜媚骨，他尊敬毛泽东，但绝不附会。当时，在庐山就有人议论：“打不死的黄克诚，压不弯的硬骨头。”
8月16日，在庐山闭幕的八届八中全会，通过了《关于以彭德怀同志为首的反党集团的错误的决议》、《关于撤销黄克诚同志中央书记处书记的决定》，认为彭、黄、张、周犯了“反党、反人民、反社会主义性质的右倾机会主义路线的错误”。回到北京后，黄克诚就被调离了中央军委秘书长、总参谋长的职位。
他就是这样被蒙冤罢官、离开了他为之奋斗了30多年的人民军队的。
庐山会议后，黄克诚像过去每次被撤职一样，不甘心在革命队伍里吃闲饭。他给组织写信，要求给他一点工作做，干什么都可以，但一直没有结果，只好闭门家居，读书看报，不时与政治部派来的一位保卫干部下围棋。他在家听候审查，一候就是几年。后来，他也曾被派到山西工作，但混乱的十年很快就来到了。
1967年初，全国各地一片混乱，到处是“火烧”、“炮轰”、“揪斗”的风潮，老干部一批批被打倒，一次次被揪斗游街，关进“牛棚”，黄克诚也未能幸免。在江青、康生一伙的策划下，“造反派”抄了他的家，把他抓走。
在只有9平方米的“监护”室里，黄克诚不仅仍坚持每天散步和走动的习惯，尽可能保持健康，而且还认真研读马列主义和毛泽东着作。
十年动乱结束了，黄克诚当选为中纪委常务书记。在他的主持下，中共历史上最大的冤案刘少奇被开除出党案得到了彻底纠正。他认为，林彪、江青反革命集团案已经触犯了国家法律，应交由司法部门处理。从“文革”的教训中，黄克诚认识到党应该以史为鉴，制定出一部具备普遍约束力的《准则》，《关于党内生活的若干准则》出台了。