汉中争夺之后数年间，天下大势呈“大洗牌”的趋势，三足鼎立趋于稳固。曹丕建魏，张郃被任命为左将军，进爵鄚侯。这个时期的张郃基本属于一枚高效率的“棋子”兼“救火队员”，哪里有状况就往哪里走，先是随上军大将军曹真征讨凉州安定郡的胡族叛乱；接着与荆州刺史、镇南大将军夏侯尚一道进攻江陵，击败东吴诸葛瑾；魏明帝曹叡即位后，张郃还短时间屯驻在荆州，与司马懿相互配合击退了孙权的入侵。
在这些战役中，曹真、夏侯尚等皇室亲族是名义上的统帅，真正冲锋陷阵的是张郃。彼时，曹魏元勋宿将也已亡故殆尽，年逾五旬的张郃成为军中不可或缺的力量，他在战场上的表现亦愈发的老辣。
公元222年（魏黄初三年）秋，因东吴拒送皇子到洛阳做人质，曹丕遣曹休、张辽、臧霸兵出洞口（今安微和县长江边）；曹仁出濡须口；曹真、夏侯尚、张郃、徐晃围攻南郡，三路齐发，压制东吴。曹丕亲自坐镇宛城。面对曹丕的三路大军，孙权并不惊慌，让吕范督率水军抵挡曹休；朱桓镇守濡须防备曹仁；诸葛瑾、潘璋、杨粲、孙盛共同应付魏军中人数最多的南郡一路，双方打起了群架，此时已是次年正月。南郡一战，水陆兼备。南郡城位于长江之北，城外江上有一不知名的沙洲，战略地位十分重要，如果曹魏占据它，可以阻断南岸吴军的包抄支援；若吴军控制它，则可将南郡内外打通，成犄角之势。吴将孙盛抢先一步占据沙洲，修筑防御工事。张郃见状，并未求稳停滞，反而发动强烈攻势，他亲自主导了一场“水陆夹攻”的好戏：先派遣战船绕道沙洲下游将吴军的注意力转移，再利用寒冬江水下降露出陆地的机会从陆路侧翼登上沙洲，声东击西，硬生生夺下沙洲，潘璋、杨粲企图二度复夺也没成功。作为征战经年的大将，张郃已非官渡一战的“愣头青”可比，如果说当年自作主张弃袁绍投曹操还带有一丝年轻气盛的话，那么此时的张郃脑海中想得最多的就是责任——击败一切不服从中央的势力之责任，就是捍卫“国家领土完整”。他敏锐地觉察出江中沙洲的重要性，因此不惜一切代价也要拿下。张郃这一决策成为魏吴江陵一战的关键，在曹休、曹仁两路均告失手的情况下，曹真、夏侯尚一路勉强与吴军战了个平手，保留了一丝颜面，也使得曹丕有了台阶，乘势收兵。
驰援荆州，只是张郃的“兼职”，大部分时间，张郃还是一直坐镇陈仓——长安一线，充任曹魏的西部屏障。此时，曹魏的军旅之事由曹真和司马懿二人说了算，前者是皇族领袖，后者是托孤重臣，张郃夹在中间，起着一种制衡的作用，这也在无形中提升了他的地位。
公元228年（魏明帝太和二年），诸葛亮首出祁山，他扬言顺着秦岭山路攻取要塞郿城，并以赵云出箕谷为疑兵。负责关中军事的曹真信以为真，分派重兵把守秦岭各个路口。不料诸葛亮亲率大军西出祁山，声势逼人，很快就迫使魏国天水、安定、南安三郡归降。由于曹真的判断失误，雍凉三郡的失守立时让长安西侧门户大开，为今之计，只有派遣重兵前去抵挡。司马懿尚在荆州，曹真被耗在秦岭，唯一能依仗的只有张郃。《三国演义》为了突出诸葛亮和司马懿的矛盾冲突，将“街亭之战“魏方的主将定为司马懿，其实司马懿与此战根本无关，曹真渭水大战孔明，也是子虚乌有，只有张郃真刀真枪和蜀军较量过。
为了保住曹魏江山，魏明帝也算费了血本，为了表示对张郃的器重和期望，“加郃位特进，遣督诸军”《三国志?张郃传》，“特进”就是临时性委任的官职，可以调动统帅诸路军马，自然也包括张郃原来的上级曹真所统领的部队。
经过反复权衡，张郃统帅五万人马迅速西进阻挡蜀军，这五万人基本就是曹魏在西线的全部家当，可以说是孤注一掷。另一方面，诸葛亮从秦岭以西直扑长安，街亭是必经之路。面对来势汹汹的张郃，稳守反击乃是上策。不料诸葛亮所托非人，安排马谡驻守街亭，马谡连续犯下“放弃当道”、“舍水上山”、“不听忠言”等错误，导致张郃进攻时己方“举动失宜”（见《三国志?马谡传》）。关于街亭之战的详细过程，笔者已在马谡一章中交代过，这里只提一点：马谡为何“举动失宜”？缺乏应变能力是一回事，更多的或许是因为张郃的名头。张郃是与张飞一个年代的猛将，比马谡大了一轮，“张飞瓦口关大战张郃”的典故估计已被缺乏“获胜案例”的蜀军当作教材用于日常教学，马谡又是诸葛亮比较信赖的人，对张郃必定是先存了三分惧怕。如今，这个人就活生生地来到前线与自己交手，且势头迅猛让人无法招架。未战而先怯，马谡能不败乎？街亭之战中的张郃，也的确展现出了大将风度，随机应变、善捕战机、一击即中，一鼓作气拔掉街亭这颗钉子，扭转了不利局面，并乘热打铁，收复天水等三郡。
此战获胜的意义在魏明帝看来意义不亚于当年张辽逍遥津破孙权，张郃被授予“益邑千户，并前四千三百户“的嘉奖。
此役后不久，东吴鄱阳太守周鲂向曹魏投降，表示愿里应外合攻取江东，曹魏征东大将军曹休主动出兵相迎，司马懿则打算从荆州出发走水路策应曹休，张郃也被借调到荆州协助统兵。不料周鲂是诈降，曹休半路中伏，死伤惨重；司马懿、张郃这一路因为时值冬天，江水低落不能航船而导致进军中断。
正当此时，诸葛亮重整旗鼓，二次北伐，目标是秦岭的陈仓道口。魏明帝这次不敢再信曹真，直接让张郃回转西线“救火”。按照规定，张郃再次出征之前要回洛阳述职，魏明帝也顾不得许多，在郊外就迎了上去，亲自为张郃斟酒，嘘寒问暖得差不多了，皇帝小心地问张郃：“会不会将军还没到，诸葛亮已经攻下了陈仓呢？”张郃故意掐指一算：“没等臣到陈仓，诸葛亮保管已退兵。因为据我推算，蜀军携带的粮草不足十天的供给。”话虽如此，张郃还是谨慎从事，他并没有直接去守陈仓，而是学起了诸葛亮“声东击西”，昼夜赶路，直接去抄蜀军的后路——汉中，快到汉中时，得到消息：蜀军退兵，陈仓解围。运筹帷幄之中，决胜千里之外，这本是用来形容孙武、韩信一类的人物，在三国同时期，也就荀彧、庞统等寥寥数人具备这种能力，诸葛亮被粉丝强行赞为“先知”，实在贻笑大方，倒是张郃，久经战阵，又亲自在街亭与蜀军交过手，他通过实践练就了“决胜千里”的思维，着实不易。所以，实践才能出真知啊！
不战而胜，张郃又被提升为征西车骑将军，地位仅次于时任大司马的曹真和大将军司马懿，与曹真、司马懿不同的是，张郃是地地道道的草根，却也是为数不多的从大破袁绍时代起就追随曹家的元老。曾与张郃并肩作战的高览、张辽、徐晃、于禁、夏侯渊等人都已作古，唯有张郃还奋战在一线。“征西车骑将军”这一有些怪异的头衔，饱含了对命运对张郃的认可。