宋雍熙三年（公元986年），宋太宗听信边臣的情报，认为辽帝刚死，主幼国弱，是伐辽的大好时机，于是下令兵分三路夺取幽州（今北京市），志在收复燕云十六州。
战争初期，宋军势如破竹，连接夺地克城，可是由于宋将曹彬率领攻打幽州的主力部队没按宋太宗事先布置的计划行事，而是在众将的要求之下贪功冒进，直取涿州（今河北涿县），又因粮草不济不得不退出涿州，结果给辽军造成可乘之机，10万大军在歧沟关（今河北涿县西南）被辽兵打得大败，伐辽取燕云十六州的计划破产了。中路和西路军也不得不后撤。
西路大军由潘美、杨业率领。在后撤时，宋太宗下令将境内的百姓迁入内地。在掩护百姓后撤过程中，主帅潘美不明形势，听信谗言，临阵逃走，致使杨业兵败战死。杨业作战英勇，人称“杨无敌”。辽兵对他十分害怕。杨业的死，使得北部边防缺少了一员大将。由谁来填补这一空缺呢？这令宋太宗颇为费神，于是他向近臣寻访合适的人选。这时，左谏议大夫张齐贤主动请求镇守北边，宋太宗便任命张齐贤为代州（今山西代县）知州，同潘美一道统领兵马抗击辽兵。
张齐贤从小便勤学苦读，颇有远大志向。宋太祖到西京洛阳（今河南洛阳）巡幸时，张齐贤以布衣百姓的身份拦住宋太祖的马，向宋太祖献上10条治国之策。宋太祖回到京城后，对宋太宗说：“我去洛阳，惟一的收获便是得到了一个张齐贤，我不打算给他封官，还是让他以后为相来辅佐你吧。
宋太宗即位后广开科举，张齐贤中进士。入朝为官后，张齐贤在许多重大问题上都提出了自己的独到看法；对北征伐辽，他认为应以人为本，疆土为末，宜先本而后末，安内养外。
张齐贤到代州上任后不久，辽兵便自湖谷（今山西崞县西北）入侵，大军直抵代州城下。代州城中的神卫都校马正率所部在城南门外列阵迎敌，但是人数太少，而副将又惊慌害怕，领着本部兵马躲在城中自保，张齐贤见到这种情况，便在从事劳作的厢军中挑选2000人，慷慨誓师，然后亲自率领，从马正的右侧杀出，辽兵见宋军来势凶猛，便从城下退走了。
当辽兵来犯时，张齐贤便已派人给潘美送信，让他发兵，以便联手将辽兵击退。但是，张齐贤派出送信的人在回来的路上被辽兵俘获，张齐贤因此很担心潘美出兵的事已泄露，万一潘美率军前来，就会遭辽兵伏击。正在张齐贤担心的时候，潘美派人来送信说，大军从并州（今山西太原市）出发，刚到柏井（今山西阳曲县东北）便接到了宋太宗的密诏：宋军在君子馆（今河北广县西北）同辽军的会战中大败，数万人战死，并州的兵马不准出战，所以潘美率大军已退回并州。张齐贤得知潘美的大军不再前来，心中松了一口气，但如何击退眼前的辽兵，张齐贤又开始了思考。当他问明目前辽军的分布和四周的山川形势之后，一个破敌计划在心中形成了。
张齐贤先将潘美派来的送信的密使软禁起来，严密封锁潘美退兵的消息，然后对众将说：“辽兵知道潘美要率兵前来会战，却不知道潘美已退兵，这正是我们破敌的大好时机。”
于是，在半夜时分，张齐贤派出200人，每人手持一面旗帜，肩背一捆柴草，到距代州西南30里的大山中，遍地插旗，燃烧柴草，虚张声势，然后又派出2000步兵，在土橙寨（今山西宁武县东）设伏。辽兵远远望见代州城西南有火光，火光中还有旗帜飘动，以为潘美的大军已然到达代州城外，便慌忙向北逃走，这正让土橙寨设伏的宋军候个正着，宋军一通掩杀。打得辽军大败。这一仗，宋军俘获了很多辽军将领，斩首数百人，缴获了2000多匹战马，还有许多兵器、铠甲。
后人在评论宋军歧沟关大战失利后的对辽作战时说：大小几十余战，惟有张齐贤打了一场漂亮的胜仗。