张山甫巡视各县后，舒州之新政夭折。除桐城外，四县均以民多不便、力所不及为由，将治水之事寝置。同时，仍拘守常平、惠民两仓之旧制，尽废贷谷之举。安石深知以佐州之职，难转乾坤，而且山甫多方阻他预政，日常除双方争执外，无事可做。就在这时，朝廷以中书文彦博荐举，诏他赴京就试，别取旨遣。他明知其中有鬼，意在将他赶出舒州；彦博荐举，落了荐贤美名，实际上是为山甫清路。安石原想舒州无事可做，不如一走了之；阅此一举，想到一走正中圈套，岂不是给山甫胡作妄为让道？因此，他决意不就，请求免试，祈准他任满。于是提笔写就《乞免就试状》，说道：“伏念臣祖母年老，先父未葬，弟妹当嫁娶，家贫口众，难住京师。今令赴阙，实与私有妨。伏望圣慈，特寝召试指挥，终满外任。”这年范公仲淹卒，他写有《祭范颍州》文。胞兄安仁病逝，撰《亡兄王常甫墓志铭》，这些都使他感伤。
暇闲无事，在州衙不是读书，就是写诗。这期间，写了许多有关农村疾苦之诗篇，如：
促织
金屏翠慢与秋宜，得此年年醉不知。
只向贫家促机杼，几家能有一□丝。
田漏
占星昏晓中，寒暑已不疑。
田家更置漏，寸晷亦欲知。
汗与水俱洒，身随阴屡移。
谁当哀此劳，往往夺其时。
尤以在《感事》中，深刻揭露贪官污吏与兼并势力交相欺压盘剥劳者之惨状，对农人寄予同情。他写道：
贱子昔在野，心哀此黔首。
丰年不饱食，水旱尚何有。
虽无剽盗起，万一且不久。
特愁吏之为，十室灾八九。
原田败粟麦，欲诉嗟无赇。
间关幸见省，笞扑随其后。
况是交冬春，老弱就僵仆。
州家闭仓庾，县吏鞭租负。
乡邻铢两征，坐逮空南亩。
取资官一毫，奸桀已云富。
彼昏方怡然，自谓民父母。
□来佐荒州，懔懔常惭疚。
昔之心所哀，今也执其咎。
乘田圣所勉，况乃余之陋。
内讼敢不勤，同忧在僚友。
闻王安石拒不赴阙就试，张尧佐商于文彦博。彦博道：“赴阙就试，别人还争不得，而王安石召之不来，亦怪事也。他条陈家累，驳不得他，只好留任。我看还是将山甫另调上州吧！”尧佐道：“那就请兄设法了。”彦博道：“此事中书碍难开口，还是请贵妃在上前美言为妥。”尧佐即命夫人进宫说与贵妃。张夫人道：“贵妃那日嘱我再送灯笼锦进去，说是给周儿缝制衣服。我进宫一并带上。”随即裹个包儿，进宫去了。她来到知内省，请阎文应着人引见。也是合该有事。
这日，曹后察看到知内省，恰巧遇到张夫人。张夫人向曹后请安毕，顺口诌道：“贵妃欠安，特来探望。”曹后方从温成宫出来，见到张贵妃有说有笑，怎说欠安呢？一句话引起曹后犯疑。打量张夫人多时，见她手拎个包儿，便说道：“送贵妃什么宝贝，拿给本后赏识赏识。”
说着即拿过来一看，原来是灯笼锦。曹后变色道：“这是文彦博知成都时，特为宫中织造的灯笼锦。你家怎会有此贡物，哪里来的？”张夫人慌了手脚，答话不知深浅，顺口支吾道：“是文大人给的。”曹后听此心中暗喜，却佯装生气道：“这是禁物，只应宫中才有，本后收了。”遂将包儿交宫女，转身带走。
曹后回到正宫，叫来阎文应，说道：“早闻文彦博交通张妃，博取相位，果然不假，幸今日被我抓住把柄。他们内外勾结，一个在枕边给官家咬耳朵，一个在殿堂向皇上絮聒，不知如何计算我？我非同皇上闹闹不可。”文应道：“不好造次。皇后，你知皇上正宠张妃，被她迷惑。闹开了，还不是心向张贵妃，护着她哩！万一皇上应承说，灯笼锦是他赐给张尧佐的，你有何话说。”曹后说：“此事难道罢了不成？”文应道：“我可将文彦博结交内戚，交通宫掖之事，透露给殿中侍御史唐介，他必出而力劾张尧佐与文彦博。你乐得坐山观虎斗，不惹皇上。”曹后道：“你怎知唐介必出而力劾？”文应道：“唐介这人，素以直言自负。他自知没别的本领，于是装出一副耿直的样子，以敢谏博取声誉。因此，愈是显崇，他偏要找出岔子，不论是皇戚或执政，他都不避。唐介对张尧佐荣宠早已不满；与文彦博亦有芥蒂。因此，我将此事透露给他，他将如获至宝呢。”曹后道：“好，就依你之言行事。”文应道：“为皇后计，我还有一句话不知当讲否？”曹后道：“你对本后忠心耿耿，我对你什么话都讲，还有什么不放心的？照直讲吧！”文应道：“以前谈及过继宗实之事应着手了。皇上近来圣躬欠安，说来忌讳，万一不豫，来不及自立嗣子，而由执政、宗室议立，那就不由娘娘了。”曹后道：“说得极是。不过，此事除我劝说皇上外，你去物色几位重臣，让他们谏言，才能动得皇上。”文应刚走，周儿进来，向曹后请安。原来，今日周儿见张夫人进内，劈头便道：“灯笼锦可带来？”张夫人只好支吾道：“经查已无存了。”张贵妃斥道：“也不先请安，劈头就向人要物，没有礼教。”这周儿仗着皇上近来青睐，已不安分了，使气跑出温成宫来散心。曹后问道：“贵妃待你可好？”周儿余气未消，顺口道：“我要灯笼锦作衣，原说给，又不给。这张家婆子也厌人，三天两头来宫里嘀咕。”曹后见有机可乘，便道：“你主子不给，我赐你灯笼锦，拿去制衣。”遂将收来那件，交给周儿。周儿连忙叩头谢恩。曹后道：“这宫中有规矩，岂容外人随便出入。你给本后操点心，有可疑之处，便来说与我知。”周儿领会去了。
张贵妃伯父张尧佐擢踞高位，早已引起许多大臣不满。殿中侍御史唐介与知谏院包拯、吴奎等人，力言尧佐身兼宣徽、节度、景灵、群牧四使不妥，御史中丞王举正又留百官列廷论驳。仁宗不得已，乃罢宣徽、景灵二使。但是，不久仁宗又诏尧佐出知河阳，兼南院宣徽使。唐介谓同列道：“这是皇上欲加尧佐宣徽使，而假知河阳为名耳，此事不可作罢。”同列以为再次论驳将忤皇上，不肯出面。唐介独自抗章上奏，极言“外戚不可预政。前次皇上从谏如流，已经收回成命，此次何复除拜，自紊典章”？仁宗当着执政、朝官，不好说话，遂独引唐介于便殿，说道：“除拟本出中书，并非尽由朕意。”唐介复道：“难道相臣文彦博也想结交贵戚，希宠固荣么？”一句话，戳到皇上心窝子，仁宗拂袖而入。唐介退朝后，又亲自缮成一疏，劾奏：文彦博交通宫掖，引用贵戚，不称相位，请即罢免，改相富弼。次日上朝，当面递呈仁宗。仁宗略阅数语，便即掷下，怒斥道：“你若再来多言，朕远谪你了。”唐介毫不畏怯，竟拾起奏章，从容跪读。读毕，复叩头道：“臣忠愤所激，鼎镬且不避，何惮远谪呢！”仁宗道：“介为谏官，论事原是本职，但妄劾彦博，擅荐富弼，难道黜陟大权也得干预么？”当时，文彦博也在殿上，唐介向他注目道：“文彦博自省！如有此事，不该隐讳。”彦博不好对答，向仁宗拜谢道：“臣不称职，愿即避位。”仁宗益怒，斥介下殿，遂贬唐介英州别驾。随后，文彦博亦罢相，出知许州。后来有人咏诗道：
交通宫掖有还无，偏惹台臣口笔诛。
当日潞公无辩论，想因献锦未全诬。
有此一场风波，张山甫昔日气焰略有收敛，不敢过分胡作妄为，自然也难调知上州了。不过，王安石仍难能预政，在舒州坐冷板凳，直到任满。
皇四年，宋廷与侬智高交战犹酣。余靖、杨畋安抚广西、广南后，会知秦州孙沔入朝，沔奏道：“秦州事不需圣虑，岭南事却是可忧。臣观贼势方张，官军虽已往讨，然未得将才，恐未必即能报捷哩！”仁宗默然。过了数日，果得败书，昭州钤辖张忠战殁。仁宗调回杨畋，授孙沔为广南按抚使。沔请得骑兵七百人，即日就道，且分檄各州县：“大兵将至，应急缮营垒，多备粮草，休得延误。”侬智高本拟越岭北上，闻得此檄，乃不敢北侵，移书求为邕桂节度使以罢战。
孙沔报于仁宗，拟如所请。参政梁适奏道：“智高猖獗已极，若再姑息了事，岭南非朝廷所有了。”仁宗道：“杨畋无功，余靖等亦未见捷报，如何是好？”话毕，只见一人出班奏道：“臣愿奉旨南讨，生擒贼首，槛致阙下。”仁宗视之，乃枢密副使狄青。狄青，字汉臣，河西人氏，骁勇善战，曾从军西征，在范仲淹部下立有大功；仲淹见他忠勇可嘉，十分器重，教他熟读兵书；狄青遵教，勤奋读书，果然成为有勇有谋的名将。仁宗见是狄青，喜道：“卿愿南征，应用若干人马？”狄青道：“臣起行伍，非战伐无以报国，愿得蕃落数百骑，更益禁兵万人，便即破敌擒首。”仁宗道：“卿既欲去，事不宜迟。朕命卿宣抚荆湖，卿速整顿行装，指日出发。”次日，仁宗置酒垂拱殿，为青饯行，且诏岭南诸军，皆受狄青节制。
狄青出得都门，途次闻余靖自军中驰奏说“交趾愿助讨智高，请下旨允行”，狄青以为不可，遂上书仁宗，略言：“借兵平寇，有害无利。一侬智高横践两广，力不能制，反欲假兵蛮夷，恐为其所笑。蛮夷贪利忘义，倘轻视中国，因之启衅，祸且十倍智高。乞饬罢交趾助兵，毋贻后患。”仁宗准奏，遂由青檄止余靖不得与交趾联兵，并戒前敌各将士，不得妄与贼斗，俟令乃发。
钤辖陈曙，乘狄青未至，为急邀功，遂发兵出击，至昆仑关，为敌所乘，立即溃退，殿直袁用等将校皆遁。狄青至宾州，会集孙沔、余靖各路人马，设营立寨。孙沔、余靖入报陈曙败溃。狄青勃然怒道：
“号令不齐，怎得不败，明晨请诸将到来，严申军律，方可破敌。”次日天明，传令各军齐集，大小将校，尽会堂上，依次列坐。狄青见陈曙在座，问道：“日前往战昆仑关，共有若干兵马？”陈曙无可隐讳，答说步卒八千人、将校三十二人。狄青令将校三十二人入见。遂传卫士入帐，森列两旁，厉声斥责陈曙道：“皇上授本帅特权，来讨贼酋。已在途次传谕诸将，不得妄战。陈钤辖何故违我号令，致遭溃败？按法当斩。”便喝令卫士，将曙拿下。又传令袁用等三十二人上前，责道：
“违令皆由陈曙，但你等既随出战，应努力杀敌，奈何遇贼即走，不斩汝等，不足申军法。”也令卫士一一捆绑，推出辕门，尽行斩首。霎时，血淋淋三十余颗首级送上堂来。孙沔与余靖相顾失色，余将相率股栗，莫敢仰视。自是肃行伍，明约束，昼夜戒备，壁垒一新。
时已残腊，转眼间已是皇佑五年新春。狄帅按兵止营，仍令照常庆贺春节，休息十天。贼方间谍探不出是何兵谋，返报侬智高去了。
依诺，到了第十一天，狄帅自将前军，麾兵先发。孙沔为次军，余靖为后军，相机并进，进次昆仑关。侬智高居邕州，尚未闻悉。过了几日，再遣侦骑觇视。这夜适为上元节，只见官军各营张灯作乐，饮宴尽欢，侦骑据实汇报去了。原来狄帅料知有敌来窥，故意张灯夜饮。直至二鼓，尚是你斟我酌，兴味盎然。狄帅自言不适，暂起入内，传谕将校，尽量饮酒，待翌晨进关。大家又欢饮多时，方才散席。待至黎明，均至帐前听令。帐内忽走出传令官，说道：“元帅已进关去了，诸将军，请即前去会合，不得有误！”诸将均不胜惊异，慌忙领兵入关。孙沔、余靖也领军随进。原来狄帅起座入内，即改易战衣，从帐后潜出，乘夜渡关。关在昆仑山上，当宾、邕两州交界，最关冲要。狄帅恐敌来争，因偷越关外，直趋归仁铺列阵，静待后军。各军陆续到齐，已是辰牌。
侬智高忽得讯，倾寨前来，拒抗官军。先锋孙节与敌相遇，便上前搏斗。敌众来势甚猛，枪矢并发，孙节力战不退，中矢殒命。孙沔与余靖驻兵岗上，遥见孙节阵亡，不觉大惊。忽闻鼓声大振，一彪人马从山麓杀出，分兵为左右翼，夹击敌众。为首一帅，银盔铜面，手执白旗，左右指挥，忽纵忽横，忽开忽合，杀得敌众东倒西歪。官军却井井有条，行伍不乱。孙沔谓余靖道：“这不是狄元帅督战么？看他部下将士，如生龙活虎一般，端的名不虚传。我等快上前去，助他一阵，管叫贼众片甲不回。”于是孙沔在前，余靖在后，从山上冲将下来，杀入敌阵。敌众原已抵挡不住，怎禁得两军杀入助战，顿时大败，拼命乱窜。官军追赶五十里，斩首数千级。敌军师黄师宓、敌将侬建中及伪官等一百五十七人尽被打死，生俘五百余众，方才收军。官军乘胜进复邕州，哪知侬智高已纵火焚城，连夜遁去。官军入城，扑灭余火，赦胁从，招流亡，邕人大悦。惟觅侬智高竟无着落，适有一贼尸穿着龙衣，下属认作侬智高，说他已死，即请上报。狄元帅摇首道：“安知非诈？我宁失侬智高，不敢欺君冒功。”乃据实奏报。
仁宗闻报喜悦道：“青果破贼了！”召狄青、孙沔还朝。进狄青为枢密使，孙沔为枢密副使，随征各将赏赐有差。杨延昭之孙杨文广，亦因从征有功，授广西钤辖，知邕州。杨氏一门，可算文广绰有祖风了。侬智高母阿侬及弟逃窜，被余靖遣将追获，解京伏法。独侬智高窜走大理。
宋室以文臣节钺，成为家规，此次独任武人，一战取胜。可惜，仁宗还未识得择将、置将之重要。