1942年5月，日军纠集3万兵力，再次对太行抗日根据地发动了空前残酷的大“扫荡”，形势空前严峻。20日午夜时分，左权在战前部署会议上分析了敌我态势。说面对日军重兵的多路合击，我主力部队目前已转出外线，而中共中央北方局、八路军总司令部、野战政治部、供给部、卫生部、军械部、军工部以及新华日报社等尚处在敌军的合击圈内。眼下直冲我们的是由涉县、黎城、歧极关而来的一股日伪军，约3000人。面对重兵压境的日伪军，合击圈内八路军能够应敌的兵力很少，只有为数不多的警卫部队，等待他们的将是极其残酷的战斗。不过，左权提醒大家：从局部看，我们处在敌军的包围之中；但从全局看，敌人是处在我们的军队和人民的包围之中。他对担负主要掩护任务的司令部警卫连连长唐万成说：“你们连百分之八十是共产党员，百分之九十以上都是老红军，相信你们一定能够完成这次任务。告诉同志们：太行山压顶也决不要动摇！”
鉴于眼下敌我兵力对比悬殊，彭德怀、左权等连日开会研究对策。左权提出：在敌军分路合击时，乘隙钻出合击圈，当日军扑空撤退时，伺机集中兵力歼其一路至几路。一切部署完毕，八路军总部各部门于5月23日奉命转移。次日凌晨，由掩护撤退的总部警卫连所扼守的虎头山、前阳坡、军寨等阵地都爆发了惨烈的战斗。在这次“扫荡”中，日军专门组建的“特别挺进杀人队”（其队员均着便装，先于日军“扫荡”部队潜入根据地）在麻田发现了八路军首脑机关，故多路日军均向麻田方向急进。警卫连仅仅两百多人顽强地抵御着两千多日伪军的轮番进攻。敌军多次冲击失败后，便发射信号弹，召来了更多的援兵，射向守军阵地的火力更加炽密。日军铺天盖地的炮火将虎头山一线轰得地动山摇，步兵随着遮天蔽日的烟尘直逼八路军阵地。为保证八路军总部的安全转移，左权不顾周围炮弹不断爆炸掀起的气浪，站在虎头山后面的山头上沉着地指挥战斗。他心里不仅想着总部各部门的安全，也惦记着群众的安危。当他看到附近山上还有群众没有脱离险境时，使命令警卫连长唐万成从已经十分吃紧的兵力中抽出一部分兵力吸引敌军，以便让群众转移。直到安排妥当，左权才不慌不忙地走下山去。
5月25日上午，突围队伍仍然未脱离险境，在南艾铺、高家坡一线的山沟里，集结着八路军总部、北方局、党校、新华社的几千人马，四周都是激烈的枪炮声，日伪军以“纵横合击”战术构成的包围圈在一步步地收紧。天空中，日军飞机也不时地投弹、扫射，受惊的骡子狂奔乱跳，将密集的突围队伍挤堵在狭窄的山沟中。眼看秩序大乱，左权不顾日军飞机的威胁，跳上一匹黑骡子，跑前顾后地把混乱的队伍重新集合起来，加快了行军速度。左权一边指挥突围，一边观察着战场情况的变化，他根据日军飞机反复投弹扫射，以及千米之外响起的密集枪弹声判断，兵力占极大优势的日伪军已经发现了合围目标，必须尽快采取果断措施，冲出包围圈。左权率司令部和北方局机关人员为一纵队，沿清漳河以东由南向北突围；罗瑞卿率野战政治部直属队和党校、新华日报社为二纵队，由政卫连掩护向东面突围；后勤部门为第三纵队，由杨立三率领向东北角冲出重围。日伪军发觉了八路军分路突围的意图，迅速收缩合围圈，并将一簇簇炮弹砸向密集的人群，给突围的人们造成了极大的混乱和恐慌。面对这一极度危险处境，左权一边鼓舞士气，一边迅速督促彭德怀赶快转移。他说：“你的转移，事关重大，只要你安全突出重围，总部才能得救。”彭德怀关注着仍围在合围圈里的大批战友、同志，坐在高大的马背上就是不挪动。左权急了，以强硬的口气命令唐万成：“连人带马，给我推！”彭德怀被感动了，挥起马鞭，在警卫战士的掩护下，向西北方向疾驰而去。
目送彭德怀离去后，左权又奔向司令部直属队，继续指挥着大队人马的突围行动，他的身体这时已虚弱得很厉害，但仍然尽全力招呼着每一个人。午后2时，在十字岭高家坡，利用短暂的休整，左权用嘶哑的声音激励着已极其疲劳的队伍：“同志们，尽管敌情严重，大家不要慌。我们要胜利，就得一齐冲。一齐冲就要听从指挥，只要冲过前面一道封锁线，我们就安全了。”尽管突围形势愈加严峻，左权仍然要求警卫战士“要警卫总部机密，要保护电台，保护机密材料，保护机要人员！”并立即采取措施，将身边的参谋人员、警卫战士分散到电台和机要人员中去。
当左权交待完上述任务后，突然觉得有人拉住了胳膊，他一看是唐万成，感到很惊奇，刚才不是安排这位警卫连长去保护彭总突围的吗？怎么小伙子又转回来了呢？当唐万成告诉他“彭总已冲过封锁线，现在你快跟我走吧！”左权拒绝了，坚决命令唐万成赶快去追上彭总。在他看来，彭总的安全远比自己的安全重要，这涉及到八路军的荣誉啊！现在自己的职责就是指挥突围。看着身为八路军副总参谋长的左权将军，拖着虚弱的身子像普通战士一样在炮火中奔跑，唐万成实在不忍心，他执拗地紧紧攥住首长的胳膊不放。左权气极了，拔出左轮手枪，喝令道：“你要懂得，要是彭总有个三长两短，我要枪毙你！”唐万成只得松开手，掉转身朝彭总突围的方向赶去。
太阳偏西了，日军的炮火依然很猛烈。左权从容地指挥队伍继续突围，他登上一块高地，尽管他声音更加嘶哑了，还是一遍又一遍地高喊道：“不要隐蔽，冲出山口就是胜利，同志们快冲啊！”大家见副总参谋长就在身边指挥，情绪很快就稳定下来，突围的速度也就加快了。
当队伍冲向敌军最后一道封锁线时，敌人火力更加凶猛。突然，一发炮弹落在左权身边，他不顾危险，高喊着让大家卧倒。接着第二发炮弹又接踵而至，左权的头部、胸部、腹部都中了弹片。就这样，一位才华横溢、智勇双全的八路军高级将领，为了拯救民族的危亡，过早地失去了年轻而宝贵的生命。
1942年5月25日，左权将军壮烈殉国。周恩来指出：“左权壮烈牺牲，对于抗战事业，真是一个无可补偿的损失”。朱德赋诗悼念：“名将以身殉国家，愿将热血卫吾华，太行浩气传千古，留得清漳吐血花。”为了纪念左权将军，根据太行人民的请求，经晋冀鲁豫边区政府的批准，1942年9月18日，辽县党政军民等5000余人举行了辽县易名典礼。从此，辽县改名为左权县。