到达扬州西门，已是三更时分，城门紧紧闭着，全无灯火，连狗叫声都听不到。
他们一行十二人，好不容易走到城门外，又是饥饿，又是疲困，那种狼狈相，实在不堪言状。他们左找右找，连一个歇脚的地方也没有。原来李庭芝正在实行坚壁清野的政策与阿术抵抗，城郊附近的房屋，早就拆尽烧光了。
天色深沉，总得先找个地方休息。他们又回头走了半里多路，才找到一座坍塌的破庙。大家走进去，破庙里都是乱草，连屋顶也不见了，只剩下半截墙壁，香案台上都是露水。
大家也顾不了这些，十二个人东倒西歪地瘫在地上。好不容易熬到四更天，天色微明，有一群运货的乡下人，哼哼唷唷地走过庙门口，他们便跟着这些人一起到西门等候开门。
大家又紧张起来，进了城，是生是死还不知道。杜浒说：“既然李庭芝当初非令苗再成杀我们不可，现在又怎么会相信我们呢？我们不如先找个地方躲起来，到晚上投奔高邮，然后再从通州渡海南下，寻找二王，再图复兴之义举。”
金应却说：“离城不远就有元军的哨兵，从这儿到通州五六百里，怎么能走到呢？与其路上受苦而死，还不如死在扬州城下，这好歹是咱们自己的土地啊！而且，李庭芝也不一定会杀我们。”
其他人，有的同意杜浒的意见，有的同意金应的说法。平时处事很果断的文天祥，此时也没了主意。而且这里又离元军占领的扬子桥很近，不是久留之地，怎么办呢？文天祥犯起难来。
就在这个时候，余元庆却引来了一个卖柴的乡下人，他说：“相公，这个人知道一条去高邮的近路。”
“白天赶路不方便，现在你能找个地方让我们避一避吗？”杜浒问那个樵夫。
“先到我家住一天吧！”那个乡下人说。
“路上有没有元兵来巡逻？”
“几天才会来一次，今天能不能碰上，就看你们的运气了。”
“我看不保险……”金应插嘴说。
“进城也不一定安全！”杜浒反驳道。
他们两个人又开始争辩，此时，天快亮了，城门外停着好些乡下担子，等着进城。
这时，总辖吕武忽然从后面跑过来，神色慌张地说：“不好了，余元庆、李茂、吴亮、萧发四个人逃走了，把银子也带走了。我一发现就去追他们，连影子也没有。”
原来余元庆趁他们跟樵夫说话的时候，偷偷转回破庙拿了银子走了。他不愿意再过担惊受怕、吃尽苦头还得不到别人谅解的生活。文天祥虽然是堂堂丞相，但是手下没有一兵一卒，想要光复也不是容易的事，与李庭芝的误会更让他复国无望了。他的家就在真州，何不回到家中，安分守己做一个平民老百姓呢？于是他便说服李茂、吴亮、萧发，四人分了银子，偷偷地走了。文天祥虽然非常痛心，但他的决心并没有因此而动摇，一行八人跟着卖柴人继续往前走。
腹中无食，身上无力，饥寒交迫，文天祥从来也没有经受过这样的煎熬。他步履艰难，走上几十步，就喘得上气不接下气，倒在荒草之中，随从将他扶起来再走，一会儿又跌倒了。就这样反复十多次，勉强到了桂公塘，此时天色已经亮了。樵夫的家大概有三十里远，他们已经走了快一半了。
打柴者说：“照以往的经验，元兵都是在上午出来巡查，过了中午以后，便都回去了。所以现在不能再走了，恐怕山头有元军巡查，所以我们要赶快躲到山里去。”
在路旁不远的小山坡上，有一个土围墙。这里看起来原先是老百姓的住房，毁于战火，木料和砖瓦都没了，只有四面断墙。走近再看，里面到处是马粪，脏极了，但是这里倒是个藏身的地方。
他们把粪土瓦砾扫除了一下，便把带着的衣服铺在地下，或坐或躺，安顿下来。
他们个个饥饿难忍，好不容易撑到中午。到了中午，大家很高兴，按元营的习惯，上午出哨，过午即归，因此大伙都说：“今天又得命了！”
大伙刚刚松了口气，忽然，远处人马嘈杂。从墙缝往外一看，只见有数千名元军骑兵，从东向西浩浩荡荡地开过来了。
“没有死在扬州城下，竟然要死在这里了！”金应闭上眼睛，自言自语地说。
大家蹲卧在土墙下，心里紧张极了。就在这时，忽然刮起了大风，乌云翻滚，豆大的雨点落了下来。元兵为了赶到有人家的地方避雨，只顾急忙赶路，大队人马从土围边开过去了。只听见马蹄声、刀剑碰撞声、吆喝声，以及错杂的脚步声，和风声雨声交织在一起，元兵正沿着土墙外边经过。
过了好长的一段时间，人马声才慢慢远去，土墙又恢复原来的宁静。大家就像大赦不死的罪犯一般，相互祝贺。
后来他们才知道，这是押送宋朝祈请使去大都的队伍，其中还有元国掠夺的财物以及其他人员。因为在镇江让文丞相跑了，所以他们动用了上千人的军队来警戒。
这时日已西斜，想元人哨兵不会再来了，樵夫对大家说：“山下有一座古庙，里面住着讨饭的乞丐，如果要找吃的东西，得到那边想办法。”
他刚说完，吕武、邹捷便自告奋勇地下山去了。
谁知这天因有祈请使经过，元军骑兵也改变了活动规律，二人刚下山，就被抓住。幸好他们机灵，又把腰间藏的白银全给了元兵，这才脱身。吃的没有找到，还差点送了命，两个人只好哭丧着脸回到山上。北哨出没不定，他们也不敢再轻举妄动了。
两天两夜都没吃一口东西，总要想一个办法啊！将到傍晚的时候，文天祥便请那个乡下人到城里走一趟，买点米回来充饥。快的话，大约黄昏前后，可以返回。
天黑了，卖柴人进城还没有回来。原来，今天元军活动频繁，有几百骑兵总在扬州西门外巡逻，所以午后城门没有开，卖柴人自然也就被关在城里。天黑以后，天气更冷了，大伙饥寒交迫，露天的土围子没法过夜，于是只得下山，到一座古庙里暂避一宿。
于是他们挨个下山，一个个溜到古庙里。庙里面黑漆漆的，而且相当潮湿，墙角的稻草堆上坐着一个女乞丐，头发蓬松，面目污垢，乍看之下像是女鬼。
八个人在庙里还没坐稳，就从外面进来了一个手持木棍的汉子，接着又进来三四个人。文天祥心想，难道刚躲过了元军，现在又碰见了土匪？
“你们别怕，”见文天祥有些惊疑，那位讨饭的妇人赶忙解释，“他们都是樵夫，砍好柴在这里歇一宿，天亮进城去卖。”
见他们并没有恶意，大家便上前去搭讪，攀谈了一会儿，文天祥简要地说了一路遇难经过，说：“我们都是从元兵手下逃出来的难民，现在打算往高邮去，如果你们知道路，而且肯带我们一段，我们愿意出钱。”
樵夫一口答应下来，并且说：“这里不是去高邮的正道，必须改向贾家庄，明天先在贾家庄准备一天，等吃饱了，备齐干粮和马匹，然后再上路……”
文天祥非常感激，连忙答应到了高邮必要重重酬谢，他们也很友善地把吃剩的野菜羹分一点出来。
五更时，文天祥等人随樵夫出发，天亮到了贾家庄。樵夫将他们安置在一个和昨天差不多的土围里，然后担柴进城。
到了中午的时候，进城的樵夫总算回来了，而且带着米和肉，大伙儿饱餐了一顿。
黄昏时，一行人正准备动身，忽然跑来五个自称巡查的骑兵，手里还提着光亮夺目的刀剑。文天祥等拿出许多银子，才算保住了性命。
等这伙人走了之后，樵夫们立刻为他们买了几匹马，指点了往高邮的略，催促他们趁着夜色赶快离去，因为扬州城内也正在通缉文丞相。没想到天地虽大，却无文天祥容身之处，自己的土地也不容他。
在苍茫的夜色里，八个人骑在马上，没命地往前奔去。约行了40里路，但一过桥就迷了路。几个人乱走了一夜，不辨东西南北，人困马乏，十分狼狈。
初六早上起了大雾，雾散之后，再抬头一望，一队元军骑兵正朝他们走来。幸好路旁有座竹林，文天祥忙招呼大家进去躲避。可是已经被元兵发现了，这些元兵骑着战马，立刻从竹林四面包围过来。
一番厮杀后，帐兵王青被五花大绑拉出竹林；张庆右眼中一箭，颈部被砍了两刀；邹捷藏在厚厚的烂竹叶下，元军的马把他的脚踩得鲜血直流，而他忍住疼，一动不动，元军没能发现；杜浒和金应被抓住了；文天祥本人藏在杜浒旁边，元军从他身边走了三四回，却没有发现；吕武、夏仲躲在别处，也受到了惊吓。
文天祥躲在那里好久，忽然吕武叫到：“文相公！文相公您在哪里？”这才知道元兵已经远去了。
吕武、夏仲二人扶着文天祥走出竹林，张庆眼睛流着血，几个人彼此搀扶者，一步步走下山去，在路上遇见了杜浒和金应，原来他们把随身携带的银子献出来，才被放回，只是王青被捉了去，不知是生是死。
七个人在山脚下遇见几个樵夫，才问明了往高邮的方向。樵夫见他们是遇难的，表示愿意帮助，见文天祥实在走不动，他们就找来了个箩筐，让文天祥坐在里面，几个人轮流抬着，一直抬到高邮城西。
文天祥这时候已经被折磨得不成人样，这些天的风吹雨打、饥饿和恐惧，使得他双目凹陷，胡须丛生，现在又屈曲在箩筐里，六个人轮流抬着他。堂堂的状元宰相，竟落到这个地步……终于来到高邮城，却见城外正悬挂着淮东制置使李庭芝命令下来的榜示，上面说是元人阿术派遣文天祥到处骗城，各地守城官应严行缉拿。好在他们七个人穿得破破烂烂如同叫花子一般，而且张庆、邹捷二人满身是血，守卒只当他们是元兵掳掠的难民，没有理会，随他们自来自去。同时，文天祥又改称他一个老朋友刘沐的名字，所以谁也没有发现他的身份。