火红的枫叶漫天舞动，转眼到了初冬。魏军开始反击河南。安颉率领魏国骑兵队强渡黄河猛攻洛阳，宋将弃城南逃，魏军向虎牢关挺进。另一支魏军在七女津（今山东东平西北岸）集结渡河。到彦之派副将王蟠龙溯流夺船，被魏军斩杀。魏将陆俟就势渡过黄河，与安颉合兵一处攻克虎牢关，逼近滑台。
刘义隆没有料到匈奴夏国如此不堪一击，魏军这么快组织起强大的攻势，眼见黄河防线土崩，只得起用征南大将军檀道济率后备军火速驰援。
檀道济兵马刚动，到彦之不顾垣护之等将领劝阻，以军中流行瘟疫，自己眼病发作、疼痛难忍为借口，私自决定放弃滑台退兵。宋军清水入济水，到达济南，焚舟弃甲，步行逃奔彭城，驻防须昌的竺灵秀率军队南逃。
宋军主力未战先退，边防人心不安。北魏大将叔孙建、长孙道生的大队骑兵趁机渡过黄河南下，兵围济南。济南太守萧承之手下仅有几百名士兵，急中生智，偃旗息鼓，大开城门。魏军疑有伏兵，不敢进城，继续南下追击逃跑的宋军，败竺灵秀于兖州，杀死宋军五千余人。
刘义隆闻报大怒，将到彦之、王仲德逮捕入狱，竺灵秀就地正法，催促檀道济火速救援滑台。
安颉率领的西线魏军正猛攻滑台，檀道济由清水救援，遭到叔孙建、长孙道生大队魏骑的阻击。檀道济奋勇出击，大破魏军，转战至高梁亭，斩杀魏将悉烦库结，乘胜进至济水。
檀道济前后与魏军30多战，宋军多次获得胜利，一直打到济南。叔孙建派出轻骑袭击宋军，烧毁宋军粮草，切断粮道。宋军缺乏粮食，难以继续前进。
滑台守将朱修之坚守孤城数月，粮食吃光了，士兵们用烟熏出老鼠烤熟吃。伐夏大获全胜的拓跋焘不断派出军队增援安颉的魏军。滑台陷落，朱修之及一万余名士卒被俘。
滑台失守、粮草断绝将檀道济逼上绝路，只得下令撤军。危难之中，士卒叛逃，把宋军粮尽的消息报告魏军，叔孙建集合大军南下追击。
面对遍布原野的鲜卑骑兵，饥饿困顿的宋军军心涣散，人人自危，恐惧、绝望到了崩溃的边缘。檀道济不慌不忙，下令安营扎寨。
夜幕降临，宋军营内灯火通明，粮官们手持竹筹唱着计数，正在清点存粮。士兵们一斗一斗地量着谷米，一袋袋雪白的大米堆满营帐，在灯火映照下闪着清亮的光泽。
天刚破晓，魏军侦骑将宋军粮草充足的消息迅速向主将报告，孙叔建一听，以为前来告密的宋兵诈降，把降兵杀掉。其实，魏军上下都被檀道济欺骗，那一袋袋白米全是一斗斗的沙子，只不过用军中仅剩下的一点谷米覆在上面而已。
仰仗人多势众，叔孙建指挥魏军将宋军营寨团团包围。檀道济下令将士们披上凯甲，全副武装，自己身着白衣，乘坐轻车，缓缓出营，大模大样沿大路向南转进。魏军数以万计的铁甲骑兵远远观望，见宋军如此从容不迫，主将洋洋得意，一副诱敌进攻的姿态。叔孙建等魏将目瞪口呆，以为有埋伏，下令后退，魏军竟无一人一骑追赶。檀道济凭借智谋与镇定保全频临崩溃的宋军，安全回师。“唱筹量沙”成就军事史中一段传奇。
檀道济的勇敢与镇定是在千军万马中历练出来的，少年时代跟随刘裕建义京口，南征北战，北伐关中之役更是冲锋在前。辅臣们发动政变的前一天晚上，谢晦和檀道济睡在一处，谢晦紧张兴奋的一夜不能合眼，檀道济倒头便睡，十分酣畅。
檀道济卓著战功没有带来好运气，手下的将领身经百战，儿子们又有才气，朝廷很是忌惮。刘义隆身体不好，时常有病，唯恐死后继承人控制不住这位威名远扬的北府名将，每次病危就想除掉他。
毕竟檀道济能征善战，出兵打仗离不开，每当刘义隆病势一轻便把他放过。元嘉十三年，刘义隆再次病重，当政的刘义康矫诏将檀道济召入南京杀害。檀道济被捕时，怒不可遏，目光如炬，摘下头巾狠狠地摔在地上说：“乃坏汝万里长城！”吃尽他苦头的魏国将领们弹冠相庆，喜滋滋地道：“道济死，吴子辈不足以害怕了。”