正因为裴行俭在政治、军事等多方面的能力都相当突出，并且拥有极为丰富的经验，所以高宗此次才会亲自点名，让他担任北征军的统帅。
这一年，裴行俭已经年逾六旬。
出征之前，高宗专门设宴为裴行俭饯行，对他说：“卿有文武兼资，今授卿二职。”（《资治通鉴》卷二○二）随即任命裴行俭为礼部尚书兼检校右卫大将军。由于当时的左卫大将军由英王李哲挂名，所以裴行俭实际上就成了京师宿卫部队和出征野战部队的最高军事统帅。于此足见高宗对他的倚重和信任，也足以表明此时的裴行俭已经成为大唐帝国数一数二的名将。
调露元年年底，帝国的北征军集结完毕，由主帅裴行俭亲率十八万主力，另以丰州都督程务挺为西路军，以幽州都督李文暕为东路军，两路皆受裴行俭节制，兵分三路直取东突厥。
为了一举平定东突厥的叛乱，唐帝国此次一共出动了三十多万大军，其动员兵力之多，为高宗登基以来所仅见。
永隆元年（公元680年）春，北征军进抵朔川（今山西朔州市境内），与东突厥的前锋部队已经近在咫尺。由于在此次北征之前，东突厥叛军曾成功偷袭萧嗣业的运粮队，所以裴行俭料定，此次突厥人一定还会故伎重施。于是他将计就计，挑选了一些老弱残兵伪装成运粮部队，负责押送三百辆粮车，同时在每辆车中隐藏五名勇士，一律装备劲弓和长柄大刀，专等突厥人上钩。
果不其然，唐军的“运粮队”刚出发不久，东突厥的偷袭部队便呼啸而至。按原定计划，那些押送粮草的老弱残兵立刻一哄而散。突厥人抢了粮车后，毫无戒备，纷纷下马饮水。就在此时，埋伏在粮秣车中的唐军勇士突然冲杀出来，东突厥军猝不及防，顷刻间便都成了唐军的刀下之鬼。
首战告捷之后，唐军主力迅速北上，于三月进抵黑山（今内蒙古包头市北），在此与东突厥叛军的主力展开决战，一战便将其击败，生擒叛军首脑之一阿史德奉职。
经此一役，东突厥叛军元气大伤，军心开始动摇，当初参加叛乱的二十四个部落个个心怀鬼胎，都想要自我保全。可汗麾下的几个部落酋长经过密商，最后干脆刺杀了新立可汗阿史那泥熟匐，砍下他的首级投降了唐军。
其余部众不敢再与唐军交锋，随后便在阿史德温傅的率领下仓皇退守狼山（阴山）。
北征军的东、西两路尚未出击，裴行俭的中路主力就已基本平定了叛乱。捷报传至长安，高宗大喜过望，即命户部尚书崔知悌到前线去慰劳官兵，并处理善后事宜，同时命裴行俭班师回朝。
高宗之所以急着把大军调回，目的是要应付日趋紧张的吐蕃战事。
这一年，吐蕃攻陷大唐西南的军事重镇安戎城（今四川理县西），致使西洱诸胡（今云南洱海湖一带）全部投降吐蕃。随后，吐蕃完全占据了羊同（今西藏西北部）、党项（今四川西北部）以及诸羌的地盘，向东威胁大唐西部的凉州（今甘肃武威市）、松州（今四川松潘县）、茂州（今四川茂县）、巂州（今四川西昌市），南部边境与天竺接壤，西陷安西四镇，北抵东突厥，疆域纵横万余里，其势力空前强大，如日中天。
裴行俭班师时，无论是高宗本人，还是朝中的大臣们，几乎都认定东突厥的叛乱已经平息。
然而，他们万万没有料到——东突厥残部并未放弃复国的念头。
很快，他们就将卷土重来。
斩草而不除根的结果，就是给对手以喘息之机，并且让对手变得比原来更加强大！
永隆二年（公元681年）正月，东突厥的一个酋长阿史那伏念又在部众的拥戴下自立为可汗，随后又与叛乱首谋阿史德温傅联手，重新纠集了叛乱各部，于是声势复振。
裴行俭再度临危受命，率右武卫将军曹怀舜、幽州都督李文暕，第二次踏上了北征之路。
三月，唐军前锋曹怀舜部刚刚越过边界，就得到一个来源不明的情报，说阿史那伏念和阿史德温傅正在阴山北面的黑沙巡视，随从骑兵不足二十人。曹怀舜为了抢一个头功，当即亲率一支精锐骑兵直扑黑沙。可到了目的地后，不要说突厥可汗，连一个鬼影都没见着。曹怀舜大为沮丧，只好往回撤。
当人困马乏的曹怀舜部撤至长城北面时，突遇阿史德温傅。双方进行了一次小规模的遭遇战，随即各自引兵而去。此时，唐军的第二梯队李文暕、副将刘敬同也已率部越过长城，与曹怀舜会师于横水。就在这时候，阿史那伏念的主力突然出现，而阿史德温傅也迅速折返，与阿史那伏念合兵一处，将唐军团团包围。
由于曹怀舜此前误信假情报，导致部队长途奔袭，消耗了大量体力，此刻又是仓促迎战，战斗力明显不如突厥人。所以曹怀舜不敢恋战，只好和李文暕部一起结成方阵，且战且退。
突厥人紧紧咬住唐军，整整追击了一天一夜。第二天，趁着一次刮顺风的机会，阿史那伏念命令部队发起总攻。唐军的方阵被冲乱，曹怀舜等人一见大事不妙，赶紧扔下部队，拍马便逃。指挥官一跑，士兵们更是争相逃窜，大军当即崩溃，被杀者不计其数。
后来曹怀舜又担心跑不出突厥人的包围圈，为了保住性命，只好收拾金帛前去贿赂阿史那伏念，请求议和。阿史那伏念也是一个见钱眼开的主，他见金帛的数量不少，便欣然与曹怀舜议和，杀牛盟誓，然后引兵北还。
曹怀舜虽保住一命，但是回国之后，还是遭到了革职流放的处罚。
横水之战的失败，显然是因为唐军中了突厥人的圈套。
首先，突厥人抛出假情报，目的就是要诱使曹怀舜长途奔袭，消耗体力；其次，阿史德温傅与曹怀舜略微交手便主动撤离战场，明显是为了试探唐军的战斗力；最后，唐军二部刚一会师，突厥主力就突然出现，更加说明阿史那伏念实际上一直在盯着曹怀舜，之所以按兵不动，就是想等李文暕过来，然后把这两支部队一块吃掉。
总之，突厥人事先已设计好了一切，然后才把唐军一步一步引上了歧途。
要命的是，唐军的前锋指挥官曹怀舜偏偏又是一个既贪功又怕死的草包，所以才会自始至终被对方牵着鼻子走，最终让突厥人的阴谋得逞。
那么，当北征军的前锋被突厥人玩弄于股掌并围歼于横水的时候，主帅裴行俭在干什么呢？
值得庆幸的是，裴行俭毕竟不是等闲之辈。他并没有把胜利的赌注全部押在前锋曹怀舜和李文暕身上，而是暗中打出了一张绝妙的好牌：就在前锋二部刚刚出发时，裴行俭便已派遣裨将何迦密、右领军中郎将程务挺，各率一支精锐骑兵分路出击，目标直指阿史那伏念的老巢——金牙山。
由于阿史那伏念为了一举吃掉唐军的前锋二部，早已把主力全都拉了出去，所以留守金牙山的兵力十分薄弱，根本不是唐军的对手，很快便被击垮。阿史那伏念的妻儿皆被唐军俘虏，辎重粮草也尽数落入唐军之手。
阿史那伏念绝对没有料到——就在他自以为得计地斩断唐军手臂的同时，裴行俭却已经神不知鬼不觉地端掉了他的老巢。
一来一去，阿史那伏念显然是亏大了！
老巢被洗劫一空，后勤补给出现了严重困难，阿史那伏念只好率部撤进了大漠深处。
虽然裴行俭策划的奇袭行动大获全胜，但横水之败毕竟也给唐军造成了重创，所以裴行俭不得不把军队暂时拉回代州（今山西代县）休整。
然而，休整期间的裴行俭并不是无所事事，而是在酝酿一个新的更大的计划。
他的目标是——不战而屈人之兵。
接下来的日子，裴行俭频频派出间谍，对突厥人实施了一系列的反间计。渐渐地，阿史那伏念和阿史德温傅开始互相猜疑。由于此前阿史那伏念因贪图金帛与唐军议和，放走了曹怀舜等人，阿史德温傅就已经对他非常不满，背后大骂他“竖子不可与谋”，所以阿史那伏念时刻担心阿史德温傅会对他下黑手。此外，他的妻子儿女现在都在唐军手里，阿史那伏念自然也要考虑她们的安危。
在多种不安的折磨下，阿史那伏念最后终于动了降唐的念头，于是派秘使去晋见裴行俭，表示可以逮捕阿史德温傅，然后归降唐军。唯一的条件是——必须保证他和妻儿的生命安全。
这个条件并不过分，裴行俭当即满口答应。
尽管与裴行俭暗中达成了协议，可阿史那伏念还是有些举棋不定。毕竟裴行俭的唐军主力现在与他远隔千里，短时间内根本就打不过来。所以阿史那伏念还是心存一丝侥幸，不想轻易放弃可汗的位子。
对于阿史那伏念这点花花肠子，裴行俭其实心知肚明。
他知道，不使出杀手锏，阿史那伏念绝不会轻易就范。
可是，如何使用杀手锏呢？阿史那伏念不是早已退至大漠深处了吗？此刻裴行俭的主力又驻扎在代州，双方远隔千里大漠，岂不是鞭长莫及？
其实，这个问题根本不存在。
因为，早在阿史那伏念率部北撤的时候，裴行俭就已派遣程务挺和张虔勖，就近调集单于都护府的府兵，从背后悄悄跟上了他。所以，此刻唐军并非与阿史那伏念远隔千里，而是隐藏在他的大营附近，随时等待着裴行俭的下一步指令。
这一招，阿史那伏念当然是打死也想不到的。
而裴行俭之所以没有命令这支追兵发动进攻，就是想通过实施反间计，加上手中的人质筹码，迫使阿史那伏念投降，以达到不战而屈人之兵的目的。
随后，刘敬同和程务挺接到了裴行俭的指令，随即逼近阿史那伏念的牙帐。阿史那伏念一直以为唐军不会这么快越过大漠，所以根本没什么戒备。直到唐军突然出现，阿史那伏念才如梦初醒。他万般无奈，只好设计逮捕了阿史德温傅，然后带着各部酋长及其部众，前往裴行俭的大营投降。
至此，东突厥的第二次叛乱宣告平定。
在这个世界上，凭借勇悍和武力取胜的名将常有，而善于用智慧和谋略克敌的名将则不常有。
裴行俭显然属于后者。
通过这场平叛战争，裴行俭再次向世人展现了运筹帷幄、决胜千里的杰出军事才华，同时也用生动的战例诠释了孙子的那句名言：“百战百胜，非善之善者也；不战而屈人之兵，善之善者也！”
永隆二年九月末，裴行俭班师凯旋，向朝廷献俘。三天后，朝廷为庆祝此次大捷，改元开耀。
然而，就在改元的次日，一件令人意想不到的事情发生了——
高宗忽然下令，将阿史那伏念、阿史德温傅等五十四名东突厥战俘全部押赴长安闹市斩首。
听到这个消息时，裴行俭目瞪口呆。
裴行俭此前曾答应过阿史那伏念，一旦归降就保住他的性命。如今朝廷却背信弃义、公然杀降，这不是令天下人齿冷心寒吗？
更何况，自从贞观初年以来，唐军几乎每一次出征都会带回来一大批高级战俘，而这些人基本上都会被朝廷赦免，并且被授予官爵。最典型的当属贞观四年平定东突厥那一次，自颉利可汗以下，东突厥的所有战俘和降将一律受到了大唐的优待，在朝中官居五品以上者共有一百余人，占到朝廷高阶官员的一半。
贞观时代，唐帝国之所以能够在对外战争中所向披靡、百战百胜，并且赢得周边四夷的尊敬和拥戴，主要就是归功于唐太宗李世民所制定的这种怀柔政策。高宗执政前期，朝廷也一直在奉行这种深得人心的宽大政策，所以才能维持帝国在外交和军事上的强势地位。可为什么这一次，高宗竟然会一反常态、大开杀戒呢？
裴行俭真是百思不得其解。
后来他才知道，高宗之所以一反常态，原因是宰相裴炎对他进了谗言。