然而黄佐炎和刘永福的满腔热血并不能倾洒，当黑旗军开至河内西门十里的地方，突然接到了越王嗣德王的密旨：“火速撤回保胜。”
刘永福眉头紧锁，向将士们宣布撤回保胜，全军哗然。
黄守忠说：“越南王想拿我们当球玩吗？叫我们来的是他，叫我们走的也是他！”
吴凤典说：“法国人都欺负到这种地步了，还退让，越南王是不是想拱手把国土都交出来了？”
一向善言的杨智仁没哼声，自从那个中秋阿秀被带走之后，来自皇宫的消息他总是听得特别仔细，好多次宫里来人宣旨，杨智仁总是多方打听阿秀的消息，然而谁都没有说什么，只知道阿秀没有嫁人。因为阿秀，杨智仁对这个从未谋面的嗣德王虽没有好感却也是满怀同情，国家如此，做一国之君也未必是件好事。可有时杨智仁也会想，要是法国人把越南都占领了，他不管上刀山下火海都好，一定把阿秀救出来，带回国内。
刘永福说：“传令下去，暂时就业扎营。大富，你跟秀业化装进城探听消息；智仁，你去一趟北圻，问问总督黄大人，他或许会知道。”
根据各方面反馈回来的消息，刘永福才知道，原来李维业玩了一招高明的政治游戏，攻陷河内城后不到一个星期，李维业归还了河内城给越南管理，但是仍在城内驻军，并且提出了四个要求：一、越南必须承认法国的保护权；二、割让河内给法国；三、在北圻设立海关；四、把越南各地海关的管理权都交给法国。越南先是不同意，李维业一边假装与越南政府谈判，一边却在调集援兵，等他的援兵到后，李维业的虎狼本性都露出来了，不但出兵占领了鸿基，更占领了南定，还逼迫越南政府下令刘永福撤兵，否则河内的管理权也不还了，还会进攻北圻。
刘永福把黄佐炎的信折好，一声长叹：“与虎谋皮——”
王者佐说：“法国人恩威并济，城里迫盟，可恨越南王没看到狼子野心。”
刘永福说：“看到或是看不到都不重要的，没有反抗的勇气才最可悲。法人远涉重洋，就几门炮几千人，真要打的话，安南的百姓死也不会做亡国奴。可就是当朝者贪生怕死，为着一己之私，置国家于不顾，将生灵涂碳。”
吴凤典气愤地砍下一根碗口粗的树枝，说：“他让我们撤，我们就不会自己打吗？反正我们不是越南人，中国才是越南的宗主国。”
刘永福摇头：“我们虽然受了清廷的官职，但同时还领着越南的军饷。公然违抗圣旨只能招来更大的麻烦，已经有好几次法国向嗣德王施压，让我们撤出保胜，退到海宁或是回国了，只是因为黄佐炎大人力挺，我们早就给下了驱逐令了。原本朝廷是让黄大人节制我们的，如果黄大人再公然帮助我们，会牵连到他的。只要我们出兵，越南朝廷就会说我们践踏主权，到时法越一齐向我们发难，而中国也未必能容得下我们，正好给某些人借口除掉黑旗军。”
农秀业拨拉着小算盘，说：“亲者痛，仇者快。番人这回赚双倍，越南是双输啊，我们倒是看不出输赢，不过不赢即输。”
刘永福说：“传令，撤回保胜。李维业，你的脑袋先寄在你的脖子上，刘永福不会让你活着走出越南的。”