日薄西山，严嵩深知政治的残酷性，他也清楚世蕃儿的作孽多端，他更意识到徐阶这类人会像当年的夏言一样，一旦得势，必然锱铢必报；至于皇帝与他，彼此是心照不宣的，他能理解。老人寂寞无助地在家里待了数日，硬着头皮不惜降尊纡贵做了一次无用的努力和争取。他把风头正劲的徐阶请到家里，率全家老小齐刷刷跪倒在徐大人面前，请求道：“嵩旦夕且死，此曹惟公乳哺之。”老臣我将死之人，膝下这一帮儿孙们就仰仗徐大人您多多关照。“阶谢不敢”，徐阶知道时机并未完全成熟，还不能顺杆子爬，他装作惊讶，上前扶起严嵩说道：不敢不敢，严阁老您放心好了。转过身去，徐阶窃笑着，心里无比受用，你老东西也有今天！
不久，嘉靖接到御史邹应龙“极论嵩父子不法”的奏疏，降下圣旨，安慰了严嵩几句，命其离职休养，将严世蕃抓入大牢。严嵩的预感是没有错的，天子不需要他了。
严嵩从未认为严世蕃所作所为是对的，可那毕竟是唯一的亲生儿子，年迈之人更看重天伦之乐，他想做些努力，数次在嘉靖面前为儿子请求宽免。嘉靖未予理睬，最终将严世蕃发配到蛮荒边远的雷州去充军，其子与几位亲信也都统统遭贬。在严嵩身边只留下了一个孙子，算是皇帝的一点恩典。
出于朱家江山社稷的考虑嘉靖不得不这么做，以拉拢鼓励新势力为皇朝卖命，但从心底来说，他对严嵩是有些依依不舍的，没有一个人像严嵩那么贴心，那么跟自己对脾气，没有一位臣子能像严嵩那么言听计从好驾驭。“嵩既去，上追思嵩赞玄功，意忽忽不乐。”嘉靖哪里知道，他的这种对严嵩的念念不忘，对于徐阶来说如鲠在喉，看来死灰尚有复燃的可能啊！严嵩被剥夺了所有权力，但并不等于从此安宁，徐阶原本暂已停歇的炮火重新点燃，以更加猛烈、必欲置之死地的决心投向严嵩。
首先是大开杀戒，全面清除所谓的朝中严党，凡与严氏父子略带瓜葛的，一律扫地出门；其次是派人密切注意严嵩老贼的动向，不放过蛛丝马迹，立足于斩草除根。
嘉靖四十二年（公元1563年），严嵩启程离开北京，一路颠簸向南，落脚在南昌住下。伺候了嘉靖二十多年的严阁老，没有想到自己的晚境如此凄凉，夫人早已仙逝，终生未置一妾，儿孙远戍边地，众叛亲离，孤寂难耐啊。煎熬了多日，他提笔给皇帝写了一封信，言辞恳切：“臣年八十四，惟有一子世蕃及孙鹄，俱赴戍千里之外。臣一旦先狗马填沟壑，谁可托以后事？惟陛下哀其无告，特赐放归，终臣余年。”孤苦伶仃的严嵩向皇帝提出能否特赦严世蕃，老臣咽气时床前总得有个哀告之人吧？嘉靖没有答应他的请求。
让严嵩更为惊诧的是，给一家人带来屈辱灾难的严世蕃并没有消停，一个朝廷钦犯，居然在去雷州的中途与同伙恶人罗龙文双双潜逃。罗龙文投靠了倭寇，扬言要取徐阶和邹应龙的人头；严世蕃堂而皇之来到老家袁州，明目张胆地呼朋唤友，毫无忌惮地动手修建自己的豪宅。听到这个消息，严嵩浑身战栗不止，他知道逆子严世蕃的末日为期不远了，正在朝中虎视眈眈的徐阶，要的就是严世蕃这样无法无天的表演。“儿误我多矣！”不听话的小子啊，你把老爹害苦了！
嘉靖四十三年（公元1564年），严世蕃因“通倭犯上”罪，再次被逮捕下狱。死到临头的他仍执迷不悟，押解至京城后，不仅频频口出狂言，甚而试图依托从前的人脉关系逃脱制裁。这个与其父处事方式完全相反的严世蕃，种种表演都在按照徐阶的愿望在展开，顺理成章，朝中新贵们一盆盆脏水借此泼向他和老父亲，连嘉靖皇帝也找不到免惩严氏父子的理由了。
嘉靖四十四年（公元1565年），严世蕃与罗龙文被问斩弃市，结束了其狂野不羁的一生。随之，八十六岁的严嵩也被推向更加不堪其辱的人生末路。在徐阶一伙的穷追猛打下，嘉靖帝诏命：“严嵩削籍，没其家。”剥夺严嵩所有的职位头衔俸禄，抄没全部家产。迈着蹒跚的脚步，形同乞丐的严嵩颤巍巍踏上回老家分宜的路途，最终寄居在乡邻家中，靠同乡的施舍艰难度日。而此刻，在辉煌壮丽的皇朝大殿里，嘉靖悠然自得地刚刚服下一粒丹药，正飘飘欲仙；千辛万苦终于坐在首辅宝座上的徐阶，正跟他的喽啰们觥筹交错、高唱凯旋；大明王朝各种肮脏的交易在朗朗乾坤下，一如既往地进行着。没有人也没有心思会记起，千里之外的地方，一个为大明辛劳一生的年近九旬的老人，正在为一件寒衣与一碗薄粥发愁。
身边没有一个亲人，举目皆是世人的冷眼，身心遭受病痛的折磨，这就是曾经的大明王朝首辅的暮年光景。饥寒交迫下的严嵩苦苦撑持了两年，在一个风雪交加的冬夜，“寄食墓舍以死。”悄然地死在荒郊野外的坟场。
据说朱元璋当年在命悬一线的危急关头，是江西人出手相助，登基后为表感激，许诺说凡江西人有事均可以老表的名义来朝见他。是呀，江西人乐于助人，江西人也听话好使唤，江西人更容易打发，——自有明以来被推上断头台的江西籍人士不在少数。谷应泰在《明末纪事本末》的评语里说：“非特嵩误帝，帝实误嵩。”算是说了句公道话，不要人云亦云地以为严嵩坏了嘉靖的大事，实在是，正因为一心只想着照顾好天子，才导致了严嵩的有口难辩、声名狼藉。