熙宁七年（公元1073年）春天，人心惶惶的大宋遭遇了大旱，“天下久旱，饥民流离”。这对于王安石的变法，无异于屋漏偏逢连夜雨。特别是在那样的一个把上天神灵奉作人间主宰的愚昧时代，天不降甘霖，自然地与王安石的违逆天意联系在了一起。上天发怒了，首先焦虑的是人间的天子，“帝忧形于色，对朝嗟叹，欲尽罢法度之不善者。”神宗皇帝忧心忡忡，甚至在朝堂上长吁短叹，意欲叫停新法中不切合实际的一些条款。
而急功近利的王安石，全然不顾面临的社会现实情况，他对皇上说：“水旱常数，尧、汤所不免。”水涝和旱灾是常有的现象，尧、汤时代也没法避免，“此不足招圣虑，但当修人事以应之。”这种事圣上不必为之忧虑，尽管放心来干我们该干的事便是了。——这是理想主义者的通病，理想当前，一切现实的困难他们都能做到熟视无睹。
神宗皇帝顿时觉得王安石太不了解治国牧民之道了，太不懂政治了，天灾百姓饥荒，人心必然浮动，变法举国骚动，这其中微妙的联系怎么可能不存在呢？这怎么会是小事情呢？已经有人因变法说出了对朝廷不敬的话来，一旦激起民怨如何收场？眼下从亲近大臣到皇后家族，人人都在叫喊收取免行钱太重，两宫太后声泪俱下担心社会****，这时候还不顾一切地蛮干，祖宗的江山还要不要？
王安石至此仍没有用心地去体会一国之君的所思所想，继续为新法加劲辩解。最为无知可笑的是，他竟然因此与大臣冯京当着心烦意乱的神宗皇帝的面争吵不休。皇帝再也无法看好这个臣子了，原来爱卿你空有一肚子经济策略，肩膀上却长着一颗缺乏政治的头脑，这时候了，还要与人争高低。在内外压力下，神宗皇帝不得不下诏，罢免了王安石的宰相之职，任作观文殿大学士、知江宁府。至于新法的实施，由韩绛和吕惠卿主持择便进行。——从这里我们不难看出，皇帝是对人不对事的，是王安石这个人有问题，挪开这个“众疑群谤”的关键人物，矛盾的视线就可以暂时得到有效转移。
但是，神宗皇帝是不甘心的。所以我们说历史应当为宋神宗皇帝大书特书一笔，一套新的强国策略，由于一个不称职的变法组织实施者而弄得怨声载道，赵顼心中五味杂陈，他咬牙更换掉众人厌恶的王安石，他希望缓解一些内部的矛盾，然后继续将改革事业进行下去，他多么渴望自己能建立李世民贞观之治的太平盛世。
临阵换将本就出于无奈，不曾想这个吕惠卿师心自用，较王安石更加不称职，没多久便招来朝中大臣诸多不满。可怜老臣都不站在变法的立场上，一时手下无兵可用，神宗皇帝又不得不再次启用王安石，——毕竟他是始作俑者，他熟悉、他坚定。靠边站了一年后，王安石二度主持变法。
可惜，这一番折腾，新法的推行就成了任人摆布的木偶戏，失去了各种良好的实施条件。这时的王安石似乎多少意识到了自己身上的不足，感受到了势单力薄，当然也不排除他性格所导致的意气用事，心灰意冷带来了不负责任，熙宁九年（公元1076年），亦即他重新接手后又仅仅撑持了一年，王安石临阵脱逃了，他向神宗皇帝提出了辞职。
当然这其中还有另外的直接原因，这个直接的原因是王安石陷于内外交困之中。他的儿子王雱以传闻暗示御史中丞邓绾，拟言弹劾吕惠卿与华亭（今甘肃华亭）知县张若济合伙违法牟利，又唆使门客将邓绾列举的吕惠卿的犯罪事实夹在皇帝的批文中，借此将吕惠卿逮捕入狱。不料有人将这其中罗织罪名的过程透露给了吕惠卿，吕转身反告王安石父子假传圣旨，欺骗皇上。神宗把吕惠卿的上诉状以及王雱所做的假材料，还有王安石私人信件里写的“无使上知”——不要让皇上知道——等证据拿给王安石看。王安石先是辩解，回家一问儿子王雱，惊讶不已，连呼“孽子”。王雱自知闯下大祸，异常恐惧，背上疮发很快毙命。
从这件事开始，神宗对王安石彻底地不信任了，打算放弃了。王安石不会连这一点都意识不到，因此在二度任相期间，“屡谢病求去“，他多次托病请求离职。原本就积怨已深、四面楚歌，儿子王雱的这一宗事及其突然死亡，给王安石身心带来巨大的打击。“力请解几务”，极力请求解除自己的职务。皇帝终于厌恶到无法忍受，最终罢免了王安石，让他任镇南节度使，判江宁府。
退居金陵后，王安石锐气尽消，潜心于学问，不再过问政事。宋哲宗元祐元年（公元1086年）逝世，终年六十六岁。
王安石的勇气是可嘉的，那种敢作敢为的气概令人敬佩。******就很欣赏王安石“天变不足畏，祖宗不足法，人言不足恤。”的造反精神。
王安石的教训又是值得后世读书人引以为戒的。饱读诗书、能文善章不等于能够治理天下，圣贤们的纸上谈兵往往与社会现实相差着十万八千里，政治的残酷复杂性，永远是秀才们难以在经史子集中找到标准答案的。人格的魅力在治国理政领域常常有着神奇的力量，王安石忽视或者说恰恰不具备这一点。
王安石死后，对其褒贬一直就没有停息过，这其中有一个现象十分有趣，贬王者，多数属于两宋的当代大人物，而褒王者，则均是生活于后世、与之毫无利害瓜葛的后来人。为什么呢？道理很简单，凡事与自己的利益不牵涉，大多都会说好听的。