后来曹怀舜又担心跑不出突厥人的包围圈，为了保住性命，只好收拾金帛前去贿赂阿史那伏念，请求议和。阿史那伏念也是一个见钱眼开的主，他见金帛的数量不少，便欣然与曹怀舜议和，杀牛盟誓，然后引兵北还。
曹怀舜虽保住一命，但是回国之后，还是遭到了革职流放的处罚。
横水之战的失败，显然是因为唐军中了突厥人的圈套。
首先，突厥人抛出假情报，目的就是要诱使曹怀舜长途奔袭，消耗体力；其次，阿史德温傅与曹怀舜略微交手便主动撤离战场，明显是为了试探唐军的战斗力；最后，唐军二部刚一会师，突厥主力就突然出现，更加说明阿史那伏念实际上一直在盯着曹怀舜，之所以按兵不动，就是想等李文暕过来，然后把这两支部队一块吃掉。
总之，突厥人事先已设计好了一切，然后才把唐军一步一步引上了歧途。
要命的是，唐军的前锋指挥官曹怀舜偏偏又是一个既贪功又怕死的草包，所以才会自始至终被对方牵着鼻子走，最终让突厥人的阴谋得逞。
那么，当北征军的前锋被突厥人玩弄于股掌并围歼于横水的时候，主帅裴行俭在干什么呢？
值得庆幸的是，裴行俭毕竟不是等闲之辈。他并没有把胜利的赌注全部押在前锋曹怀舜和李文暕身上，而是暗中打出了一张绝妙的好牌：就在前锋二部刚刚出发时，裴行俭便已派遣裨将何迦密、右领军中郎将程务挺，各率一支精锐骑兵分路出击，目标直指阿史那伏念的老巢——金牙山。
由于阿史那伏念为了一举吃掉唐军的前锋二部，早已把主力全都拉了出去，所以留守金牙山的兵力十分薄弱，根本不是唐军的对手，很快便被击垮。阿史那伏念的妻儿皆被唐军俘虏，辎重粮草也尽数落入唐军之手。
阿史那伏念绝对没有料到——就在他自以为得计地斩断唐军手臂的同时，裴行俭却已经神不知鬼不觉地端掉了他的老巢。
一来一去，阿史那伏念显然是亏大了！
老巢被洗劫一空，后勤补给出现了严重困难，阿史那伏念只好率部撤进了大漠深处。
虽然裴行俭策划的奇袭行动大获全胜，但横水之败毕竟也给唐军造成了重创，所以裴行俭不得不把军队暂时拉回代州（今山西代县）休整。
然而，休整期间的裴行俭并不是无所事事，而是在酝酿一个新的更大的计划。
他的目标是——不战而屈人之兵。
接下来的日子，裴行俭频频派出间谍，对突厥人实施了一系列的反间计。渐渐地，阿史那伏念和阿史德温傅开始互相猜疑。由于此前阿史那伏念因贪图金帛与唐军议和，放走了曹怀舜等人，阿史德温傅就已经对他非常不满，背后大骂他“竖子不可与谋”，所以阿史那伏念时刻担心阿史德温傅会对他下黑手。此外，他的妻子儿女现在都在唐军手里，阿史那伏念自然也要考虑她们的安危。
在多种不安的折磨下，阿史那伏念最后终于动了降唐的念头，于是派秘使去晋见裴行俭，表示可以逮捕阿史德温傅，然后归降唐军。唯一的条件是——必须保证他和妻儿的生命安全。
这个条件并不过分，裴行俭当即满口答应。
尽管与裴行俭暗中达成了协议，可阿史那伏念还是有些举棋不定。毕竟裴行俭的唐军主力现在与他远隔千里，短时间内根本就打不过来。所以阿史那伏念还是心存一丝侥幸，不想轻易放弃可汗的位子。
对于阿史那伏念这点花花肠子，裴行俭其实心知肚明。
他知道，不使出杀手锏，阿史那伏念绝不会轻易就范。
可是，如何使用杀手锏呢？阿史那伏念不是早已退至大漠深处了吗？此刻裴行俭的主力又驻扎在代州，双方远隔千里大漠，岂不是鞭长莫及？
其实，这个问题根本不存在。
因为，早在阿史那伏念率部北撤的时候，裴行俭就已派遣程务挺和张虔勖，就近调集单于都护府的府兵，从背后悄悄跟上了他。所以，此刻唐军并非与阿史那伏念远隔千里，而是隐藏在他的大营附近，随时等待着裴行俭的下一步指令。
这一招，阿史那伏念当然是打死也想不到的。
而裴行俭之所以没有命令这支追兵发动进攻，就是想通过实施反间计，加上手中的人质筹码，迫使阿史那伏念投降，以达到不战而屈人之兵的目的。
随后，刘敬同和程务挺接到了裴行俭的指令，随即逼近阿史那伏念的牙帐。阿史那伏念一直以为唐军不会这么快越过大漠，所以根本没什么戒备。直到唐军突然出现，阿史那伏念才如梦初醒。他万般无奈，只好设计逮捕了阿史德温傅，然后带着各部酋长及其部众，前往裴行俭的大营投降。
至此，东突厥的第二次叛乱宣告平定。
在这个世界上，凭借勇悍和武力取胜的名将常有，而善于用智慧和谋略克敌的名将则不常有。
裴行俭显然属于后者。
通过这场平叛战争，裴行俭再次向世人展现了运筹帷幄、决胜千里的杰出军事才华，同时也用生动的战例诠释了孙子的那句名言：“百战百胜，非善之善者也；不战而屈人之兵，善之善者也！”
永隆二年九月末，裴行俭班师凯旋，向朝廷献俘。三天后，朝廷为庆祝此次大捷，改元开耀。
然而，就在改元的次日，一件令人意想不到的事情发生了——
高宗忽然下令，将阿史那伏念、阿史德温傅等五十四名东突厥战俘全部押赴长安闹市斩首。
听到这个消息时，裴行俭目瞪口呆。
裴行俭此前曾答应过阿史那伏念，一旦归降就保住他的性命。如今朝廷却背信弃义、公然杀降，这不是令天下人齿冷心寒吗？
更何况，自从贞观初年以来，唐军几乎每一次出征都会带回来一大批高级战俘，而这些人基本上都会被朝廷赦免，并且被授予官爵。最典型的当属贞观四年平定东突厥那一次，自颉利可汗以下，东突厥的所有战俘和降将一律受到了大唐的优待，在朝中官居五品以上者共有一百余人，占到朝廷高阶官员的一半。
贞观时代，唐帝国之所以能够在对外战争中所向披靡、百战百胜，并且赢得周边四夷的尊敬和拥戴，主要就是归功于唐太宗李世民所制定的这种怀柔政策。高宗执政前期，朝廷也一直在奉行这种深得人心的宽大政策，所以才能维持帝国在外交和军事上的强势地位。可为什么这一次，高宗竟然会一反常态、大开杀戒呢？
裴行俭真是百思不得其解。
后来他才知道，高宗之所以一反常态，原因是宰相裴炎对他进了谗言。
裴炎是这么对高宗说的：“此次大捷并不是裴行俭的功劳，而是副将程务挺和张虔勖北上进逼阿史那伏念，加上漠北的回纥人向南压迫，阿史那伏念走投无路，这才投降，并不是裴行俭真有什么了不得的本事。”
就在裴炎的这几句话中，裴行俭平定东突厥的功劳被一笔勾销。
那么，裴炎为什么要跟裴行俭过不去呢？
原因很简单——此时的裴炎并不是代表他自己，而是代表另外一个人。
谁？
武后。
众所周知，从咸亨年间开始，武后就一直试图与宰相分权，并且处心积虑地向宰相班子渗透自己的势力，像裴炎、薛元超等人就是她一手提拔的。可这些年来，武后的老政敌裴行俭却成了满朝文武中风头最健的人，无论是经略西域、整顿边务、改革吏治还是出征突厥，每一次出手都令人刮目，每一回表现都可圈可点，论其资历、功勋和声望，已经完全具备了拜相的资格，随时有可能入相。
对此，武后当然不能无动于衷。一旦裴行俭拜相，肯定会成为她权力之路上的最大障碍。所以她必须未雨绸缪，尽一切可能对他进行打压！
裴炎就是在这种情况下出面的。而高宗未经调查，便听信了裴炎的一面之词，认为阿史那伏念并非真心归降，于是断然下达杀降的命令。可怜阿史那伏念这五十多人，就这样阴差阳错地成了大唐高层权力斗争的牺牲品。
他们被斩的那一天，裴行俭仰天长叹：“浑、浚争功（王浑，西晋大将，因在平吴战争中被部将王浚夺得头功，便愤然与其争功，故而备受后世讥讽），古今所耻。但恐杀降，无复来者。”（《资治通鉴》卷二○二）
裴行俭的意思是：他不会像小肚鸡肠的王浑那样与自己的部下争功，所以，无论此次大捷的功劳算在谁的头上，他都不会在乎。他唯一担心的只是——大唐如果开了杀降的先例，日后恐怕就无人敢来归附了。
经过这件事，裴行俭颇有些心灰意冷，从此称疾不出，主动淡出了政坛。
就像裴行俭所担心的那样，杀降必然会导致严重的后果。第二年，亦即永淳元年（公元682年）春，这种恶果就初步显现出来了——西突厥的一个酋长阿史那车薄率十姓部落发动了叛乱。
危急时刻，高宗再次想起了裴行俭，慌忙任命他为西征军统帅，准备让他率领右金吾将军阎怀旦等人，分兵征讨西突厥。
然而，就在大军即将出征的前夕，一代名将裴行俭就因病去世了，终年六十四岁。