随着朋党之论的渐渐兴起，仲淹越来越无法在朝廷安身了。仲淹派出的转运按察使也遭到来自各方面的攻击中伤，有人指责他们对于各路官吏的查考约束太过苛刻，致使人不得尽其才。甚至有人把派至江南的三个转运按察使称为“三虎”，称京东路转运按察使沈邈手下四个得力能吏为“四狼”。
与此同时，流言蜚语也指向了富弼，说是石介代富弼写了废立的诏书。据《续资治通鉴》卷四十六，流言之源也来自夏竦：“先是石介奏记于弼，责以行伊、周之事，夏竦欲因是倾弼等，乃使女奴阴习介书，久之，习成，遂改伊、周曰伊、霍，而伪作介为弼撰写废立诏革，飞语闻上。”如此流言，自然更是十分可怕。据《续资治通鉴》，流言上达仁宗，仁宗虽并不相信，但仲淹、富弼已“不敢自安于朝”，他们无论如何是非离开朝廷不可了。庆历四年八月，仲淹以参知政事出京宣抚河东，富弼也自求外放，以枢密副使宣抚河北。
随着仲淹、富弼的离朝，针对他们的所谓朋党之论也更是日甚一日，连仁宗也“颇惑谗言”，以至“仲淹愈不自安”。庆历五年春，仲淹上奏朝廷乞罢参政。据说仁宗接到仲淹乞罢参政的奏折即“欲听其请”，时任执政的章得象说：“仲淹素有虚名，一请遽罢，恐天下谓轻黜贤臣，不若且赐诏不允，若仲淹即有谢表，是挟诈要君，乃可罢也。”仁宗依从章得象，仲淹也果然上了谢表，仁宗据此也相信了章得象的话。也正是这个时候，半年前宣抚河北的富弼事毕还朝，右正言钱明逸向仁宗进言，说富弼在朝廷更张纷扰，凡所推荐，多挟朋党，而对不附和自己的人力加排斥，“与仲淹同”。于是，仲淹被罢去参知政事以资政殿学士知邠州，富弼罢去枢密副使知郓州。不久，杜衍、韩琦也被罢去枢密使职，分别调知兖州、扬州。到庆历五年三月，庆历新政的筹划者和支持者们几乎全被逐出京师。
到这时，才真正如王拱辰所说：仲淹一“党”算是被一网打尽了。