遵义会议后，中央决定红一方面军继续北上，准备渡过长江，与红四方面军会合，创建川陕革命根据地，黄克诚所在红三军团仍然作为先遣部队。为了有利于进行运动作战，红三军团取消了师级建制，缩编成4个团，黄克诚任红十团政委。在彭德怀的指挥下，红三军团东渡赤水，占领了桐梓城。
从桐梓向南30里，就是巍峨险峻的娄山关。娄山关雄踞娄山山脉的最高峰，周围群峰迭起，山峰如剑，直插云霄。两边都是高山和深涧，好像两扇大门紧紧关闭了从桐梓去遵义的通道，真是“一夫当关，万夫莫开”。攻下娄山关，遵义城就无险可守了。因此，自古以来，这里都是兵家必争之地。中央军委命令第一、三军团夺取娄山关，再占遵义城，实现迂回作战。贵州军阀王家烈急派部队从遵义出发，向娄山关急进，妄图凭借天险阻击红军。
彭德怀也命令部队昼夜兼程，力求抢在敌人之前进至娄山关。可是，娄山关却被敌人抢先占领了，红三军团随即发起了对娄山关的进攻。黄克诚率红十团与兄弟部队一起，同敌人展开了反复的争夺，敌人伤亡惨重。在红军的猛烈攻击下，敌人很快就溃不成军了，急忙夺路逃回了遵义城。黄克诚指挥部队迅猛追击，再次攻进了遵义城。
红军再次占领遵义后，蒋介石即派两个纵队飞驰遵义，黄克诚奉命率红十团在遵义附近的老鸦山同敌人展开了激战，仗打得相当艰苦。由师长改任团长的张宗逊再次负伤，团参谋长壮烈牺牲，黄克诚率部固守在一个山头上，顽强抗击着敌人的轮番进攻。危急关头，陈赓率部赶来增援，红一军团的主力也及时投入了战斗。经过红军的猛烈反击，敌人全线崩溃，红军乘胜追击，一直追到鸭溪以南的乌江大渡口。敌人砍断了浮桥，才免于全军覆灭。这次战斗，共歼灭和击溃敌人2个师又8个团，俘虏敌人3000多人，这是长征以来红军取得的最大一次胜利。
老鸦山一仗，打出了军威，黄克诚自然很高兴。到了遵义城后，黄克诚找出一大堆报纸，研究分析半年来的形势。从报纸上他了解到红一方面军主力长征以后，中央革命根据地遭到敌人严重摧残，留在根据地的红军部队多数被打散，方志敏等着名领导人相继遇害或下落不明。这些令人痛心的消息，使他深为红军的安危担心。于是，他当即找到了一位上级领导，谈了自己的想法。1937年，黄克诚和罗荣桓、邓小平、杨尚昆、陆定一、杨奇清、李伯钊等在陕西三原云阳镇合影。
黄克诚说：“老根据地已被敌人摧残殆尽，主力红军又受到重大挫折，剩下来的部队已经不多了。当前保存革命力量十分重要，应该尽量避免与敌人打硬仗，红军再也经受不起消耗了。”由于他长期以来被视为“右”倾，这次同领导谈话又被误解，上级怀疑他对革命悲观失望，缺乏信心。事后，他再次被撤销了职务，让他随军反省。
过了一段时间，黄克诚被任命为军团教导营政委。黄克诚率领部队越过了水流湍急的大渡河，翻过了常年积雪的大雪山，走过了人迹罕至的大草地，经历了千难万险，艰难跋涉于长征路上。
红军走出了草地后，红三军团的有些同志对上级派来的几位领导，在长征极端困难的条件下，搞特殊化，开小灶，常常聚在一起改善伙食的作法很看不惯，便发了一点牢骚，讲了一些怪话，有时还有违反群众纪律，偷吃群众东西的行为。在当时的环境下，这本应属于教育问题，但上级来的几位领导认为，这是对革命丧失信心的表现，问题严重，应采取处死的办法予以惩罚，提出要在红三军团整顿纪律和审查干部。
黄克诚则认为，某些干部战士表现得情绪不高，发点牢骚，这与领导者平时教育有关系。同时，有些领导干部在生活非常艰苦的时候，不能以身作则，对下面有影响，不能够完全责怪下面的人。下面的人偶尔违反群众纪律，固然是不对的，但还是应以教育为主，不能采取对待敌人的办法对待自己的同志。何况我们刚刚走出草地，大家已经被拖得精疲力竭，马上进行整顿纪律和审查干部的工作，是很不适宜的。黄克诚的意见再次遭到否决，他本人对革命的忠诚度也受到领导的怀疑。
1935年9月中央俄界会议后，部队整编，黄克诚被调离主力部队，免去了拟派黄克诚担任第二纵队政治部组织部长的职务，任命他为军事裁判所所长。上级让他把那些掉队的人员抓起来审判，他看到这些转战万里，出生入死的同志，得不到信任，心中十分不忍。他对上级的命令坚决予以抵制，并据理力争，又被上级批评了一顿说：“你连这点小事都处理不了，真不中用。”黄克诚这次抵制上级错误的行为，被认为是“狂妄”和“不服从领导”，于是，他再次被撤职，当了一名普通的红军战士。在接下来的日子里，他以坚定不移的革命信念和顽强的毅力，经受着巨大的压力，拖着病弱的身躯，随军转战，终于坚持到达了陕北。到陕北后，黄克诚被任命为军委卫生部部长，他深感肩头担子的分量和职责的神圣，以崭新的姿态，投入了新的战斗，迎接着新的考验。
抗日战争中，黄克诚从晋冀豫转战到苏北，在苏北黄克诚建筑了防海潮的宋公堤，从而赢得了民心。面对日军的进攻，黄克诚建议放弃新四军军部所在地——盐城，被大多数人否定，他越级电告中央，终于取得了同意。
1940年4月，黄克诚奉命率三四四旅离开太行山赴冀鲁豫，后又转赴豫皖苏。1940年秋，黄克诚率八路军南下支队与彭雪枫在苏北会师，合编为八路军第四纵队，彭雪枫任司令员，黄克诚任政委。
苏北，地处陇海路以南、运河以东、大海以西、长江以北，包括淮海、盐阜两个地区，是连结华中和华北的枢纽。日军侵占苏北后，抢占交通要道，逐步扩大伪化区。从徐州至扬州沿运河线各城镇、陇海路东段各城镇以及连云港等港口，均被日军占领。在尚未被日军占领的地区，则是国民党统治区，并建有县、区、乡、保各级政权。江苏省主席兼苏皖战区总司令韩德勤，属于蒋介石嫡系顾祝同部，是个有名的反共顽固派。
为了执行中央的指示，在苏北广大地区开展我党领导下的独立自主的敌后游击战争，黄克诚率第五纵队到苏北后，在中原局(华中局)的领导下，放手发动群众，实行减租减息，加强抗日民族统一战线工作，扩大抗日武装，建立各级抗日民主政权，清剿土匪，消灭反动地主武装叛乱，粉碎日寇的“扫荡”，打破顽军的“磨擦”进攻，发展生产，加紧进行根据地的各项建设。
时任八路军第五纵队司令员兼政委的黄克诚(前排右三)与部分领导干部在一起合影。皖南事变发生后不久，中央军委即发布重建新四军军部的命令，在华中的新四军、八路军各部队9万余人，统一改编为新四军。八路军第五纵队奉命改编为新四军第三师，黄克诚任师长兼政治委员。
苏北由于长期受国民党统治，人民群众对初来乍到的共产党和新四军心存疑虑。要开创苏北根据地的新局面，首先就必须取得群众的信任和拥护。
黄克诚刚到苏北时，正遇海啸成灾，疮痍满目，难民遍野，人民群众的生活苦不堪言。在此之前，国民党政府迫于当地士绅的一再呼吁，勉强拨了一点经费，修筑了一道海堤。但由于国民党各级官中员层层克扣，偷工减料，海堤修筑得极不牢固，海啸一到，一冲即溃。
黄克诚目睹人民群众离乡背井的凄惨景状，决心发动军民自力更生重新修筑海堤，战胜水灾，渡过难关。
黄克诚找到刚上任的阜宁县县长宋乃德，明确表示：“建海堤是一件关系到海边民生的大事，再困难也要修筑。”
在中原局及华中新四军、八路军总指挥部的支持下，黄克诚和县政府采取发行修堤公债、以工代赈的办法，动员了上万民工，军民一齐上阵，终于在1941年7月底，将全长90华里的海堤修成。南北两条大堤，像两条长龙，锁住了奔腾的海水。
就在大堤完工的第二天夜晚，海啸奔腾而来，水位比溃烂的旧堤高出六寸。人们怀着紧张的心情站在堤上，看着一个个大浪扑来，担心堤坝能否抵挡住。由于新堤高大坚固，虽然海啸巨浪不断冲击，也岿然不动，经受住了考验。
看着昔日奔腾无羁的海浪如今驯服地从脚下淌过，大家的欢呼声响成一片，人们从心底发出了对新四军、对共产党的赞叹。
阜宁的群众提出，把这条堤命名为“黄公堤”，黄克诚坚决不同意。黄克诚说，宋县长既能代表政府，又是共产党员，还能代表新四军，修堤时也是功臣，以他命名最合适。于是，一块记载着共产党和新四军功绩的“宋公堤”石碑，就立在了大堤上，也永远地立在苏北人民的心中。
1943年，苏北抗战进入了最艰苦的阶段。2月，日寇集结重兵2万余人，在海空军配合下，对盐阜区发动了规模空前的大“扫荡”。仅三天时间，国民党军队便被击溃了。又过了两三天，敌人把盐阜区许多大小镇市和大村庄占领了。17日，敌人兵分五路向阜宁县东坎、八滩海边压过来。敌人分析，新四军三师主力都在八滩之东，荒凉黄海之滨，可以一举消灭。但敌军数路汇合东沟、东坎、八滩等地区后，却扑了一个空，新四军早转移了。敌人不甘心，立即将兵力分成十几路，采取“梳篦式”战术，来回反复“扫荡”。
但新四军同日本侵略者打了多年交道，早已积累了经验。在敌人刚露出“扫荡”苗头时，陈毅就率领军部和华中局离开盐阜区到淮南区去了，留下黄克诚率三师与敌周旋。
黄克诚领导苏北军民，采取灵活机智的战法，避敌锋芒，与敌反复周旋，使敌人到处扑空，被拖得精疲力竭。新四军则抓住战机，不断对敌人进行打击和袭扰，取得了一系列辉煌的战果，胜利地粉碎了日伪军的大“扫荡”计划。
新四军在反“扫荡”中的表现，得到了苏北人民和抗日进步人士的高度称颂：“敌寇以泰山压顶之兵力，‘扫荡’新四军，新四军能保全主力，已属难能可贵。不料又大举反击，恢复阵地，足见抗战必胜之前途。”
苏德战争爆发后，日本加快了侵华步伐。日军纠集一个独立混成旅团以及李长江、杨仲华伪军部队，共约1.7万余人，在200架飞机，上百艘艇的掩护下，展开陆地、军中、水上立体攻势，向我新四军军部盐城开始了夏季攻势大“扫荡”。
陈毅、刘少奇主持召开紧急作战会议，新四军将领聚集一堂。参谋长赖传珠首先向大家介绍了日军夏季大“扫荡”的情况。听完参谋长的介绍，每个人心头沉甸甸的。这次日军“扫荡”一改以前单线长驱直入的战术，采用了拉网式战术，向盐城阜宁地区包围合击。
这种战术看来十分有效，日军分兵三路，走一路，收拾一路，如今，东部的国民党部队被其第一路“扫荡”全歼，第二路“扫荡”把国民党顽军韩德勤的“老窝”给筛了一遍，第三路也长驱直入，距离盐城仅有百里路程。
很明显，新四军军部正处在日军重兵包围之中。然而，新四军能够迎战的部队仅有第一师和第三师，总共不到3万人，而且装备明显处于劣势，连重机枪都无法保证每连一挺，有的战士甚至赤手空拳。
代军长陈毅沉思良久，突然站起来，斩钉截铁地说道：“我们的政治口号是保卫盐城，保卫苏北根据地，给予日军以狠狠打击，决不让敌人占领盐城！盐城是我们华中根据地的大本营，全国人民注视着这里，保不住盐城，我们不好向党中央，向全国人民交代，这次反‘扫荡’也是一场政治仗，一定要打好盐城保卫战！”政委刘少奇也站起来表示了意见。
大家情绪激昂，都表示坚决执行军部命令，用生命和鲜血保卫盐城，扞卫华中根据地大本营，决不让鬼子进入盐城。突然，有人说了一句：“我不同意军部的这个作战方案，不同意‘保卫盐城’的口号！”一语惊四座！大家顿时静了下来，将目光转向了说话的人。原来是黄克诚！
黄克诚将自己的想法说了出来：“我从八路军南下而来，参加过华北地区反‘扫荡’。基于华北反‘扫荡’的经验教训，我认为在目前敌强我弱的情况之下，我军不宜对日军搞正面阻击，‘保卫盐城’的口号是不适宜的。我建议华中局与军部尽快从盐城撤离，转移到阜宁农村，跳出敌人的包围圈。至于部队，则应实行分散游击，待机反击。”黄克诚说完，又补充道：“如果已有布置当由军部决定，三师坚决执行！”
刘少奇见黄克诚与大家意见相悖，就耐心地向黄克诚做起了思想工作。刘少奇要黄克诚从政治的高度对待这次战斗，我们进行的是人民战争，有广大后方作依托，有广大民兵协助，我们能得人就能得天下。
刘少奇的劝说，并没有改变黄克诚的想法。黄克诚坚持自己的看法：“那是美好愿望，盐城是肯定守不住的。”陈毅有些恼火，忍不住说：“在新四军里，除了饶漱石敢顶撞我，就是你黄克诚了，可你是我的部下！”
“真理往往掌握在少数人手里。”黄克诚坚持道，“我建议取消这个方案，放弃盐城！”黄克诚与陈毅、刘少奇发生了争执。最后，陈毅下了命令：“军部决定，你率三师与一师共同保卫盐城，你们三师七旅在建阳、湖垛一线阻击来犯之敌，八旅在东沟、益林地区阻击。
黄克诚当即表态：“我三师坚持执行军部命令！三师在阵地在！但是，我保留自己的意见。”
保卫盐城的战斗开始了。敌强我弱，新四军伤亡较大，前线战况并不乐观。
在这种情况下，黄克诚审时度势，认为为避免无谓的损失，必须当机立断，撤离盐城。于是，他将自己的意见直接电告远在延安的党中央、毛泽东，并将军部情况作了汇报。
毛泽东接到电报，马上回电新四军军部，询问情况。这时，敌人攻势更加猛烈，新四军面临严峻考验，如果继续硬拼下去，情况十分危险。刘少奇将军部争执情况电告毛泽东后，军部经过商讨，决定采纳黄克诚的建议，从盐城撤军。