经受了几次门生发难的沉重打击和为父奔丧的长途跋涉，张居正忽然身患重病，卧床不起，经过多方医治不见好转。
张居正自知行将不起，遂连上两疏，恳求万历准允致仕归去，以求生还江陵故土，万历始终不准。
这天，万历帝亲自派遣的一大群太监，文渊阁中的大学士张四维、申时行以及在京的各部尚书们密匝匝聚集在张居正病榻前。
张四维探身床前，向奄奄一息的张居正轻轻地说：“首辅，朝中同僚都来看你了，你可有话要说？”
张居正微微睁开眼，无神的眼睛缓缓扫过众人，又无力地闭上。嘴唇嗫嚅着，断断续续吐出几个字：“有劳……诸位了……”
他嘴唇嗫嚅着，声音却微弱得听不清了。守候在床头的家人将耳朵贴近，仔细一听，方缓缓告知张四维道：“家主是问清田丈亩之事进展如何？”
张四维不禁微微一愣，不料首辅病成这样，却仍念念不忘国事，一时竟不知如何回答。户部尚书张学颜趋步到床前，对着张居正一字一顿地说着：“便告首辅：清丈基本完成，全国田亩总数为七百零一万三干九百余顷，比弘治十五年以来增加了三百多万亩，可见这次清丈异常成功。”
“好……好。”张居正枯黄的面颊掠过一层喜色。
张居正艰难地喘了几口气，眼睛陡地睁大，现出一种异样的光。他手指万历身边的长随太监奋力说道：“贱体积……劳致病，已成朽木，然……犬马依恋之心，无时无刻不在……皇上左右……”他眼睛里溢出一滴晶莹的泪珠。此时，他仿佛用尽了全部精力，头猛地一沉，手臂像断了线的风筝无力地垂了下来。
此时是万历十年（1582）六月二十日。张居正终于遗下他呕心沥血建树的改革业绩以及年近八旬的老母、30余年的伴侣、6个儿子、6个孙子，静静地离开了人间，终年58岁。
张居正病重期间，明神宗万历皇帝曾十分伤心，送给他许多珍贵药品和补品，并对他说：“先生功大，朕无可为酬，只是看顾先生的子孙便了。”这样，张居正在九泉之下也用不着为自己的子孙担心了。张居正病逝后，神宗下诏罢朝数日，并赠他为上柱国，赐谥文忠，据谥法解，“文”是曾任翰林者常有的谥法，“忠”是特赐，“危身奉上曰忠”。显然在赐谥时，神宗对于张居正功勋业绩的估价是相当高的。
然而，张居正尸骨未寒，时局却急骤逆转。没过几个月，明神宗就变了脸，加上那些在改革中被张居正得罪的人添盐加醋地告状，张居正立刻遭到自上而下的批判。
张居正过去的改革其所以能顺利进行，在很大程度上取决于神宗与他保持了一致的态度。这种局面由两种因素决定，一是自嘉靖以来与日俱增的政治危机的猛烈袭击下，统治阶级再也不能按照原来的样子继续统治下去了，所以反对改革的势力未能占据上风；二是由于神宗即位后，年仅10岁，他对身兼严师和首辅的张居正又敬又畏，处处听从其指点，因此对进行的改革并无疑议。在这种形势下，张居正代表的是地主阶级的整体利益，行使的是至高无上的皇帝的权力，所以才使其改革取得了迅速成功。
后来，情况却发生了很大变化，一方面改革已见成效，危机已经缓解，官僚和贵族们在贪婪的本性驱使下，强烈要求冲破改革时期所受的节制，并进而废弃改革；另一方面，神宗皇帝随着年龄的增长，对于“威柄震主”的张居正日益不满起来，嫌张居正把自己管得太严，使自己不能自由地行使权力。张居正活着的时候，他不敢怎么样，现在张居正死了，他就谁也不怕了。
但是清除“威权震主”的张居正的影响，却并非易事。首先必须除掉冯保。冯保倚仗太后的宠信、张居正的联手，有恃无恐，对小皇帝钳制过甚，垮台是迟早的事。谁也没有想到事情来得那么快。仅仅过了六个月，明神宗在言官弹劾冯保十二大罪的奏疏上批示，说冯保“欺君蠹国”，本来应当处死，念他是先皇托付的顾命大臣，从宽发落，发配南京去赋闲养老。
这是一个信号，冯保可以攻倒，张居正有何不可！于是一场反冯运动同时也拉开了弹劾张居正的序幕。
正如曾被张居正逐出朝门的原兵部侍郎汪道昆所总结的：“张公之祸是在所难免的。这个中缘由，乃因为张公欲有所作为，必揽大权在手。而这大权非是别人，乃当今天子之权！张公当权便是天子的失位，效忠国家意味着蔑视皇上！功高震主，权重遭忌，此即张公无法逃脱的必由之路。”
明神宗态度的变化，在反对改革的官僚和贵族中引起强烈反响。那些受过张居正批评的人，趁机告状，原来巴结张居正的人也都反过来说他的坏话了。明神宗听了朝中这些人的话，下令把被张居正改革过的旧东西都恢复起来。张居正创行的考成法被取消，官员不得任意使用驿站的驿递新规被废止，张居正重用的官员被罢黜，好多被裁处的官员，一个个又官复原职，重新被起用。
万历十一年（1583）三月，明神宗诏夺张居正上柱国封号和文忠赐谥，并撤销其儿子张简修锦衣卫指挥的职务。不仅如此，当有人告发张居正专权，要谋反，他家里一定藏着许多财宝时，神宗皇帝也不仔细打听，就马上下令：“张居正简直是作恶多端，快给我抄了他的家！”
万历十一年五月，张宅被抄。所有的金银财宝都被搜了出来。十余口人被活活饿死，长子敬修自杀，三子懋修投井未死，保存了一条性命。但神宗听了还不满意，干脆又下令说：“张居正生前专权乱政，干了许多坏事，本当把他的尸首从棺材里拉出来斩首，念他在朝廷办事多年，就免了。不过，对他的亲属不能轻饶，都给我充军去！”在刑部尚书潘季驯的乞求下，神宗才勉强答应留空宅一所，田地10顷，以赡养张居正的八旬老母。
明神宗曾对张居正说过，要照顾好他的子孙的，可是在张居正死后不久，其家里人便死的死，判刑的判刑。一个为国家的富强建立了功绩的人，反倒成了罪人！这个结局，张居正生前万万没有料到的。就连张居正生前所重用之人，如张学颜、方逢时、梁梦龙等辈，也均遭遣还籍。
张居正的改革是顺应历史潮流的。他所建树的业绩并没有因为改革的废止全部付诸东流。例如，封贡通市，改善蒙汉关系，并没有因为张居正改革的废止而消失。恰恰相反，在张居正死后，蒙汉两族的友好往来依然存在，并不断向前发展。清代魏源在追述蒙汉关系的改善时说：“高拱、张居正、王崇古，张驰驾驭，因势推移，不独明塞息五十年之烽燧，且为本朝开二百年之太平。”又如，改革赋役制度，推行“一条鞭”法，在张居正死后，仍一直向前发展。这种情况表明，明神宗虽然可以凭借至高无上的皇权废止张居正改革，查抄张居正的家产，但却改变不了“天下不得不条鞭之势”的历史潮流。
历史是无情的。张居正死后，他的改革被废止了，明神宗如小鸟出笼，无拘无束，他嗜酒、贪色、恋财，满足私欲，大肆发作。他横征暴敛，挥金如土。朝廷上下荒淫腐败，糜烂不堪，各种社会矛盾急剧发展起来，一发而不可收拾。再也无人能力挽狂澜了。
万历二十四年（1596）神宗派出宦官到各城镇监矿征税，踢开地方政府，另行组织中使衙门，一座中使衙门往往有上千人为其服务，这些人如狼似虎，把本该收归户部的税金，纳入皇帝的私囊。这些税使自恃有皇帝的特谕，公然宣称奉有密旨，监察官员不得纠劾，走到哪里就在哪里纠集地痞流氓，践踏官府，凌逼大臣，横征暴敛。那些忠于职守的地方官，奉公守法的士大夫自然就成为他们横行不法的障碍，因此受到空前的迫害。神宗不理朝政，对朝臣的奏疏，不理不问，却对宦官的密报言听计从，凡是被这些宦官告密的地方官，朝上夕下，立遭重处，因此受到迫害的大小官员不计其数，这飞来的横祸使得满朝文武大臣惊恐不安。
从中央到地方的官僚机构，本是封建王朝法定的统治系统，也是皇帝赖以稳定统治的主要支柱。官员是朝廷的命官，依据国法执行管理社会的职能，他们的职权要受到朝廷的保护，这是统治者长远利益的体现，任何君主不管怎样为所欲为，在客观上都不能不受到此种利益的限制。神宗给自己的家奴以这样大的权势，这就使16世纪末的中国出现了这样一种怪现象：居于统治社会最顶端的至高权威，同流氓地痞这社会最下层的恶势力直接挂钩。上下两股恶势力的纠合与作用，更加激发他们谋求暴利的贪欲，像破笼而出的野兽，吞噬所能掠夺的一切财物。
张居正死后的第十四年，神宗就以疯狂的掠夺，破坏了国家机器的正常运转，这给王朝带来了一场空前的灾难。官僚体制被破坏，国家库藏被耗尽，平民百姓被摧残，终于激发城市民变，此起彼伏多达四十多次，东到苏杭，西至西安，南至云南，北到辽东，怒火烧遍全国。最大的一次民变，是由云南指挥贺世勋领导的，结果是杀掉了宦官杨荣及其党羽两百多人；武昌民变时，封锁进京道路两个月，弄得神宗惊魂不定，几天吃不下饭；临清民变时，居民上万人走向街头示威游行。政治、经济、社会的危机，使得统治者犹如陷身火山，惶惶不安。反对矿监税使的奏疏纷纷呈送，有的痛切地指出，这是“割肉充饥”，有的声泪俱下地诉说：“一旦土崩势成，家为仇，人为敌，众心齐倡，而海内以大溃。”有的甚至痛骂神宗酒色财气四毒俱全。由此可见，不是没有不怕死的官员冒死犯谏，也不是没有能人想改变局面，但是任你哀哀苦求，慷慨陈词，甚至破口大骂，神宗对这一切都无动于衷。这种无限扩张的贪欲和不受限制的权力，本是皇权至上的产物，作为附着皇权的臣子又能奈何？又从哪里再拥戴一个磊落奇伟之士，大破常格，扫除廓清天下之患？无情的现实是，世上再也没有了张居正，对张居正的怀念就是在无可奈何情况下的一种呼唤。
面对日益衰败的朝廷和处于水深火热之中的人民，许多有识之士又想起了张居正及他的改革业绩。明熹宗天启二年（1622），熹宗帝下诏为张居正平反昭雪。崇祯三年（1630）礼部侍郎罗喻义又挺身而出为张居正讼冤。直到崇祯十三年（1640），崇祯皇帝终于下诏恢复张居正长子张敬修官职，并授予张敬修的孙子同敞中书舍人。
尽管此后由于政治腐败，明王朝开始走上灭亡的道路，致使张居正的改革设想没能继续坚持下去。但是从天启、崇祯皇帝对张居正及其改革的肯定，可以说明张居正忠心耿耿辅佐小皇帝，为革除积弊，创建新政，呕心沥血，鞠躬尽瘁，他的功绩是不可磨灭的。“恩怨尽时方论定，封疆危日见才雄”，后人在江陵张居正故宅题诗抒怀，堪称对张居正身后功过是非的真实写照。张居正不愧是明代最杰出的政治家、改革家。