那日，皇上诘问市易事后，王安石即召吕嘉问详询情状，并取京师油店、梳铺诸行私簿阅视，方知实情。嘉问还告知太皇太后为配药发难事，并道：“幸经魏继宗应付，戳破药铺罔上之奸谋，方免挨太皇太后之责，亦使皇上解困。看来此必曹佾辈指使，妄图沮坏市易法也。”安石道：“犹如行青苗、雇役诸法，兼并之家岂肯安分守法，其沮坏必也。”
于是，遂趋延和殿面上，道：“那日陛下垂询市易事，经臣查阅油店私簿，油未尝增价；市易务原不买梳朴。卖梳朴者为兼并所抑，久留京师，乃至待漏乞收购，臣谕令市易务干预。今兼并伺市易之隙为奸，若使其违法抑勒百姓，岂可容！”上道：“朕缘浮议见疑，故诘问相公。是日，于太皇太后当面，魏继宗揭穿百种园欺诈伎俩，才使朕惊悟，方知几家大药店共为兼并之事。”安石道：“兼并之家，如京师茶一行，自来有十余户，若客商贩茶至京，即须先馈献设宴，乞为定价，于彼十余户所买茶更不敢取利，但得其定高价，即可取倍利以偿其费。今立市易法使此十余户与下户买卖均一，所以此十余户害新法，故造谤言也。茶行如此，余行盖如此。然茶税两月来却倍增，其商旅获利可知。新法利国，利民，利商，惟不利兼并之家，对彼等何足恤也。”上道：“药行如百种园者，竟以断太皇太后配药要挟，沮坏新法，可恶已极，当严惩不贷。”安石笑道：“商家谋利乃本性，立法制其谋暴利即可，不须用刑律。其类如百种园者借皇戚以坏法，若陛下及内宫不为摇动，彼何能为害？其要在陛下惊悟，不为近习所惑。此岂独推行新法若是，边事、招纳、开河莫不如是。”上默然。
次日早朝，王安石奏道：“王韶已拓地千二百里，招附三十余万口，请以古渭塞为通远军，以王韶知军。”古渭，唐渭州也，自唐至德陷于吐蕃，至皇复其地，因建为塞。神宗志复河陇，故从之，为开拓之渐。蔡挺道：“乘今破竹之势，正可厚以金帛、官职招纳。然王韶新经摧沮，不敢开阔擘划，须朝廷谕意。”上乃令中书、密院谕意。安石道：“若复河陇，必得有智略自肯建功之人，乃可使为将帅。”上道：
“如何得此人？”安石道：“岂患无人，但患知人未尽，若陛下尽知人之道，御制不失礼，则人才自出。如王韶被朝廷三度疑其为盗，若其计较，自去久矣。功名如梦幻，气节之士岂肯摧气节以就功名？”上道：
“王韶被人诬妄，须与辨明。”安石道：“诚是，然陛下后来既知言者非实，却未见追究。若为陛下建功之人为他人沮害，有罪陛下固不容，无罪，对诬妄之人未尝诘问，是以建功尽力者寡，为邪者众。寡已不胜众，而陛下又不恶其为邪，则人何必出死力犯众人所忌恶，为陛下立事。此所以陛下未能致豪杰之士也。”上道：“谕王韶，朕差人即予辨明。”
王安石方以近习荧惑上听为忧，东上阁门使、枢密都承旨李评又生出事来。李评者，其祖李遵勖，仁宗时尚万寿长公主，拜宁国军节度使；父端愿，拜武康军节度使，今上向皇后之舅也。李评喜论事，宋设东、西上阁门使、副，多以处外戚勋贵。下置宣赞舍人、祗候多人。
掌朝会宴幸、供奉赞相礼仪之事。
恣意妄行，在阁门及枢密院揽权不忌，多布耳目，采听外事密告于上以自效。以皇戚故，侥幸大用，中外侧目。安石素恶之。这年同天节，紫宸殿上寿，依故事亲王、皇亲并坐。时李评删定新仪，初无改易，阁门吏遂依旧仪贴定坐图。过后，李评遽劾门吏贾佑、马仲良、王昭序不当令亲王、皇亲、驸马都尉于紫宸殿就坐，不遵新制。贾佑、马仲良坐免官。这日，王安石上殿具奏李评所定仪制不明，而辄妄加他人以非罪。神宗亦言仪制错乱不可用，责李评论列不当，与阁门官吏俱放罪。李评不服，诉于上前，自谓所论列非不当。上批付中书，令再议放罪指挥。安石执奏道：“门官吏无罪，李评所论列不当，贾佑、马仲良不当免职。又，王昭序与贾佑、马仲良俱被劾，而罢佑、仲良，却遣昭序代两人，甚无理。陛下未尝以好恶处人，岂可令李评以好恶处人！阁门官吏近在左右，使横被摧迫，陛下何以为天下主？陛下自作好恶，犹有过当，若令他人作好恶，即恐威福为人所窃。臣岂与评争校枉直，但义当如此。”上以为阁门吏既见相传坐图与新仪制坐图不同，自合申明请示，却自用相传坐图贴定，故李评劾之不为不当。安石又执前奏，争持不下。
是日，退朝后，安石独留身，乞放东南一郡。道：“久劳之，近又疾作，恐误职事，累陛下知人之明。”上甚怪安石如此，道：“卿岂所怀有不尽，当为朕尽言之，朕何尝违卿，或是为李评否？”安石道：“臣非为此也。自二月以来，即欲上言，若得一二年在外休息，陛下若不以臣为无用，再召臣至。”上道：“卿必有所怀，但为朕尽言。天下事方有绪，卿若去，如何了？卿所以为朕用者，非为爵禄，但以怀道术可以泽民。朕所以用卿，亦岂有他？相与尽其道以刈民而已，非以为功名也。自古君臣如卿与朕相知极少。朕顽鄙初未有知，自卿在翰林，始得闻道德之说，心稍开悟。卿，朕师臣也，断不许出外。”安石道：“臣放罪，京官被贬谪外放。荷陛下知遇，固当竭死节，然诚以病疾衰耗，恐不能称副陛下任使之意，久自计度，须烦圣听，乞陛下详察。”安石告退，上戒勿入文字。
安石道：“臣领圣旨，未敢入文字，俟一二日再乞对。”上道：“勿如此，终不许卿去。外人得知，恐害事。”
几日后，王安石再次奏言李评擅自改易枢密副使蔡挺文字，欺害政事。上饬李评戒之，而李评复诉于上前，以为枢密院吏未尝明言已经枢密副使更定，故用己意改易数十字，是有鲁莽之处，非欺政害事。
上以评本心实无它，但于职事不敢苟且，理宜矜假，遂批付枢密院免评罪。于是，安石指此事证评为欺。上道：“评自言不知。”安石道：
“奏章有枢密院使副押字，岂得言不知？人尽以为下吏畏评，不敢指证。”上道：“就令改，亦何妨？若有差失，乃可罪评。”安石道：“名分有上下，如臣前为参加政事，然曾公亮所批文字，臣但有异议，与公亮反复论可否，岂敢改公亮文字？臣职任于公亮乃是同列，如李评乃是密院吏人。若为事关李评便可改抹，如此岂有上下？陛下若为李评可倚仗，不如便以李评为枢密使。且评所改文字，非特蔡挺文字，从前所改至多。评言不知，此其为欺甚矣，陛下要推问，是非不难见。评非忠良，恐误陛下。”上道：“岂以评为忠良？但人才难求备。如评肯尽力亦少有。”安石道：“既非忠良，谩上暴下，而阴与近习相为朋比，岂可略不检察。”又言：“李评所修议制大率乖谬，难以责阁门一一申明，今以不申明乃罪阁门官吏，原修议制乖谬岂可得无罪？李评奸亻妄一至此，陛下以为尽力。臣窃谓诬其同类以为自功，乃是奸亻妄小人，不当谓之尽力。”上道：“此小事，已降指挥。”安石道：“此小事，然陛下三降手诏，当是疑臣于此事不直。臣备位大臣，当为陛下分别枉直，若为陛下左右小人所欺，不能自直，即难以安职。若陛下谓臣为欺，使去位，固无所复议；若未许臣去位，当容臣辩正，并以中书所奏下阁门，令中外知事枉直。”上见安石认真，为息事宁人，乃从中书所奏下阁门，令今后紫寰殿上寿，亲王、宗室、驸马都尉并依故事赴坐。
阁门吏见宰相持事公正，因言李评所修新仪率不可用，如改原殿前三帅候起居等，三帅论其不可，评乃擅令沿用旧仪而不奏，及至中书责问，又推说“枢密使副已有指挥”。吏云：“实未尝见使副指挥。”
又，沈衡判刑部，评令告谢，及杜绂判刑部，评乃止之。中书诘其故，评云：“仪制在中书，无所检。”于是，安石上殿，具以白上，三奏李评欺罔，乞推究其罪。而上皆为评开脱，道：“评所改，皆非使副签署者，所改蔡挺文字，吏人谓评果不知。”安石道：“大臣尚畏评中伤，不敢与校，何况吏人，岂敢证评不直？今评欺罔状甚明，陛下但推究，即评亦不能自蔽。”上道：“恐评有说。”安石道：“陛下若偏听则评必有说，若推鞫则明见欺罔之状。”上只好淡化此事，道：“事已多时。”安石道：“事固多时，而评乃因杜绂事反诬中书久留仪制，故不得不以闻。评欺罔如此，安可纵！”上只好道：“此诚有罪，令送宣徽院取勘。”但已而又批：“阁门失检点三事，纵加推鞫，不过如此，其他人皆由评故，致此滋蔓，若不了却，事必愈多，烦费推求，何日穷已？可令评今后不管勾阁门事，余悉放罪。”上以为借此处置了事，使安石不再执奏，可免李评放外。
不料几日后，王安石忽告退。上令内宫冯宗道抚问，安石因附答表请解机务。上复令宗道齑手诏封还答表，趣安石入见。
冯宗道走后，吴夫人道：“老爷前次求退，皇上不许，与汝恳谈，语甚殷切，以帝师之语动之，千万不可伤上心。”安石道：“吾已年过半百，为国事身心衰竭，自知效命朝廷时间不多。今新法多已颁行，虽有欲摇动者，料难沮坏，惟安边、治河两事，吾不放心。而此二事皆缘小人乘机摇动上心，欲为沮坏。故吾弥留朝廷之际，必欲制此小人，以启圣心。”吴氏道：“李评不过一阁门使、枢密都承旨，不足害事，何必为此小人顶撞皇上。”安石道：“夫人勿小视此人，当前摇动今上者，有上下两风源，下即为李评。其与皇戚、内宫串通，兼与枢密人吏朋比。今已敢妄为，将来又一曹佾也，若不早除，将留后患。”吴夫人道：“李评何曾沮坏边事与治河？”安石道：“夫人不见李希愚、杜绂谗言王韶、程？事乎？此皆李评之党，况上犹有风源。”夫人道：
“原来如此，老爷善自为之。即使罢去这宰相也不打紧，回金陵逍遥去。”
后二日，王安石入见，上怪安石求去。安石道：“疾病不任劳剧，兼任事久，积中外怨恶多，人情容有壅塞。今臣辞位，既少纾中外怨恶，或可除上下壅塞。若察知臣不为邪，异时欲复驱策，臣所不敢辞也。”上道：“卿从来岂畏人怨恶，人情有何壅塞？卿心有怀，何不道？”安石道：“臣所怀具此。”上道：“得非为李评事？”安石道：“臣所怀具如奏状所陈，非有他也。”上道：“卿无乃谓朕有疑心？朕自知卿，委以天下事，吕诲比卿卢杞，朕固知卿，不为所惑，岂再有能惑朕者？朕于卿断无疑心，不须如此。”安石道：“初蒙陛下拔擢，未及一二月，尚未有施为，而吕诲便以比卢杞；若任事久，疑似之迹多，而谗诬之人，才或过于吕诲，即臣未敢保陛下无疑也。”上道：“卿知性命之理，非有心于功名爵禄。然君臣之义，卿必不废。朕于卿未有失，卿又实无病，何缘便要去？”安石道：“臣非敢言去，但乞均劳逸而已。”上道：“朕与卿相知，近世以来所未有，所以为君臣者形而已，形固不足累卿；然君臣之义，固重于朋友，若朋友与卿要约，勤勤如此，卿亦宜为之少屈，朕既与卿为君臣，安得不为朕少屈？”安石道：“臣荷陛下知遇，固当以死报陛下，诚以疾病。又，自古大臣久擅事未有无衅者，及其有衅然后去，则害陛下知人之明，又伤臣私义，此臣所以不免违忤陛下也。”上道：“周公为成王所疑，故逃居东，及成王不疑则归周。纵朕于卿有疑，今既相见无疑，卿亦可止。”安石固乞退，上固留之。安石道：“日旰不敢久劳圣体，容别具奏。”遂出。
安石复具答子乞罢，上令冯宗道齑手诏封还札子，曰：“卿已许朕，何故又入？以卿素守，岂可食言也。”安石复具奏。阁门等处皆奉旨不收接安石文字。
这日，神宗驾回庆宁宫，换上常服，匆匆去后院。县君杜氏观其神情，心知有事，乃令侍女退出，道：“此间仅娘俩，有甚心事说与娘。”上遂将迩来安石三奏罪逐李评及安石先后乞退之事，说与县君。杜氏道：“恐非缘由李评起，亦非仅为李评欺罔。”上道：“迩来为任用王韶、程？等人，朕曾与安石有龃龉。”杜氏问其所以，上道：“朕素重王韶，冀其招纳蕃部，开拓河陇建功；程？任事干练，治水有成效。然上下对此二人有非议，朕不可不疑，差人勘磨，亦不为过。安石以此怪朕。”杜氏道：“王韶南人，进士出身，不贪安逸富贵，效力西北边陲，志在扩土。汝疑其贪财或割据为藩镇之祸耶？程？内臣，不预宫廷弄权，仆仆于外，志在水利，有何不好？娘看汝未全脱历代君王驭臣之道：既欲驱人为己竭力，又折其锋柔其性以制人，犹如无识婆母对待媳妇是也。”上笑问道：“娘何以知之？”杜氏道：“娘启蒙于韩维，与汝父同受教于先生，汝不知邪？汝问从何知之？从汝父留下几架书文知之。悠悠岁月，娘消遣史书丛中，挨白了头，却长了学识。汝忙碌朝事，失于念书，以己之昏昏，焉能示人昭昭？今后务必理政与读书两不误，则善矣。”上道：“惟娘为师。”杜氏道：“娘算得甚，安石乃汝之良师。汝已长成，遇事有主见，娘固高兴，但比之安石，仍嫌稚嫩，不可过恃聪明，与安石龃龉。上次娘说汝，遇风吹不摇动是假话，缘知汝根基尚未固也。”上道：“说得是。”杜氏问道：“汝何以为李评千般辩解，亦难怪安石抗争。”上道：“评父老且多病，须人侍养；且皇后甥舅情深，朕安可不为伊着想，缘此评，免其徙外。”杜氏道：
“原来如此，倒是难题。”此时，皇后向氏破门而入，说道：“刚才官家与娘一席话，妾已听得。不须为臣妾故坏朝廷法，使官家为难。”原来向氏见上近来愁容不展，今日又不一语，直去后院，想必为县君吐苦衷，故尾随亦想听得。及至门外，听得说李评事，却不好撞入。后听知为己故，使官家伤神，才贸然撞入。杜氏道：“可否变通处置？”
向氏道：“无须，京师多有家人照应。对李评应以法处置，免遭人非议，若此妾之幸也。”杜氏感叹道：“难得皇后如此淑贤，深明大义。”
向氏笑道：“娘选这个儿媳尚可否？若可，皆缘娘有眼力。”说得杜氏高兴，一把拉过向氏抱住，道：“娘幸有这个儿媳。”
于是，上又令勾当御药院李舜举赐药，并召安石入见。安石欲托舜举上表，舜举不可乃已。次日，安石自齑表入见，上不肯视，退给安石，敦令就职，道：“朕自得卿文字，累日惶惑，卿当念朕如此。”安石固请，勿许，只好退出。
又次日，安石面上，道：“陛下不许臣去，臣不敢故违圣旨，然臣实病。臣强勉半年，届时再烦圣听。”上笑道：“卿许朕就职甚善，如何半年后又乞出？且勿如此。”安石道：“陛下所以眷眷留臣者，欲臣助成天下之务。臣愚以为欲成天下之务，在陛下不在臣。欲成天下之务，在通天下之志，若不能通天下之志，即不能运动天下变移风俗，则何由成天下之务？”上道：“朕不明，诚有所不见，每事须赖卿扶持。”安石道：“陛下至明，非臣所能仰望，然则陛下不可不深考前王所以维御天下大略，自为龟鉴。陛下好察细务，诚由聪明有余，然恐不能不于大略有所遗。臣试言郭逵、王韶事。逵数谮王韶，陛下不寤而从之。逵以陛下可欺，然后使其部属游说，窥伺陛下意向。陛下又为其所惑，故逵敢放肆为王韶之狱。今杜绂奏王韶讨奄东事，陛下以为何如？”上道：“又不合如此。”安石道：“差杜绂勘市易息钱，与诏讨奄东事了无相关。而辄敢妄奏。绂本枢密院属官，久知枢密院恶韶，遂观望利害，辄敢妄奏，其情意可见。小人敢无忌惮者，陛下当求所以然，此不在他人在陛下而已。陛下诚能察奸而断以义，则无人敢如此。”上道：“只因事难得分明。”安石道：“事何尝不分明，但是陛下不穷追到底。前后小人为欺，岂无行迹？但以陛下含糊。若穷究，岂有不分明之理。”上道：“朕知过矣。”