《明史纪事本末》中记载说，严嵩有一种秘方配制的养生药酒，赵文华在最讨义父欢心之际，讨到了这个秘方。试用之下，果然效力不凡。于是，他不声不响地将秘方进献给了皇帝，并说明此方只有严嵩和自己知道。谁知，皇帝心里大为不快：怪道严嵩如此康健，原来有这等好事在一个人享用。于是，召严嵩来问。严嵩吓得遍体冷汗，只好坚不承认。皇帝将赵文华所上秘方和密信掷给严嵩，便拂袖而去。
严嵩当即将赵文华叫到内阁首辅办公室，予以痛斥。身为帝国正二品工部尚书的赵文华跪在地上，痛哭流涕。徐阶等内阁成员一再劝导，严嵩终不能释怀，命杂役将赵文华驱逐出了内阁。后来不久，更在一次群臣云集的场合，严嵩见赵文华也来到其中，便将他唤到众人面前，徐徐说道：“老夫一生只与正人君子交往，绝不与翻覆小人为伍。”然后，命人将其搀扶出去。
赵文华失去皇帝欢心的缘由是：有一天，皇帝在宫城上，发现西长安街上新起了一栋高大的民居，询问之下，知道是工部尚书赵文华新盖的府第。边上的一个宦官说：“听说工部粗大的材料都用在赵尚书的府第上了，怪不得宫里修缮总凑不够材料。”当时，严嵩和徐阶都在身边，二人均佯作未闻，就是装没听见。严嵩曾经向皇帝推荐赵文华进入内阁，皇帝的心里可能会有所迁怒。
不久，赵文华被开除公职，儿子发配边疆从军。《明史》列传第一百九十六《奸臣传》中说，命令下达后，举朝相贺。随后查出此人贪污军饷十万四千两白银，追赃一直追到十五年以后，才追回来一半。此时，已经过了嘉靖、隆庆两代皇帝，万历皇帝与执政的张居正仍然不许豁免，并将他的儿子发配到了最苦的地方充军。此是后话。
事实上，这笔钱可能确实无法追回。因为，当时就已经有记载说，凡到京中来领到军饷的，六成需要直接送到严府，只有四成到得了军中。否则，下次来领饷的，就不是上次的那位军官了。
到此时，徐阶开始出手了，虽然仍然不是正面交锋。
当时，先后发生了两件事情。
一件是皇帝居住的万寿宫失火，嘉靖便暂时移居到了玉熙宫，这个宫很窄小，皇帝心里闷闷不乐。群臣就请皇帝移回乾清宫，皇帝因为以前的列祖列宗都死在那里，不愿意。严嵩则请皇帝搬到南宫去住，结果，一下子正好触到皇帝的霉头上。原因是：那是当年正统皇帝复辟之前的幽禁之地。皇帝为此“大不乐”。这时，唯独徐阶力主为皇帝营造新宫，并且算了一笔账，表示不必劳民伤财，凭现有材料既可完成。还保证在三个月内，一定恭请皇帝移驾新宫。
皇帝大喜，立即批准，并任命徐阶的儿子为总工头。
结果，经过三班轮作，日夜赶工，届时，竟然一切如徐阶所言。《明史纪事本末》卷五十四《严嵩用事》记载道：“自是，凡军国大事悉咨之阶。间有及嵩者，不过斋醮符箓之类而已。”——从此，所有军国大事全部都只与徐阶商量，偶尔涉及严嵩，只是那些道教事务而已。
在此期间，另外一件事情更加可怕——
有一个道士叫蓝道行，以扶鸾灵验著称，嘉靖皇帝信之如神。
扶鸾又称扶乩，古人认为神仙来时会驾凤乘鸾，所以雅称扶鸾。一般则称之为扶乩，是一种请求神灵指示的方术仪式。顾名思义，扶，指扶架子；乩，指的是卜以问疑，请神仙指点福祸凶吉。其大体做法是：在一个沙盘上，立一个丁字型木架，其直端顶部悬锥下垂。架放在沙盘上，由两个人分别用食指搭扶在横木两端。依法请神时，木架的下垂部分就在沙盘上画出文字，成为神灵的启示。
一般来说，被请下来指点迷津的神仙，几乎包括了所有能被叫出名字的神灵，从玉皇大帝，到关公关老爷。嘉靖皇帝心有疑虑时，会把自己的疑问写在纸上，密封起来，然后交给道士去请教神灵。道士则会焚香礼拜，恭请神仙降临，并将皇帝密封的问题以火焚之，算是把问题送达神仙，请求就此给予指示。一般说来，扶乩之人是不能知道对方所需要解答的疑问的，否则，就成了人在回答问题了。
关于此次扶乩，史书上记载的情形大体是：
皇帝问，如今的辅臣贤否，为何达不到天下大治？
神仙回答，奸臣当道，贤臣无从施展。
皇帝问，谁奸谁贤？
神仙答，严嵩父子奸，徐阶贤。
皇帝问，上天为何不降灾诛灭奸臣？
神仙答，留待皇帝正法。
皇帝问题提问完毕，陷入久久沉思。
这段故事，在众多的史书史料中，被反复大量地引用，但能够注意到一个基本事实的人却不是很多。何心隐是王阳明开创的王学门下一大流派的领袖性人物，道士蓝道行则是何心隐的密友，成为道士前，可能也是重要的王门中人。如前所述，徐阶是王阳明高徒聂豹的入室弟子，即王阳明的再传弟子，被史学家称为王学的在朝护法；而那位对严嵩父子发出致命一击的御史邹应龙，同样也是王学的后生晚辈。
尽管严嵩并没有为难王学与王门弟子，但何心隐显然是把严嵩视为大敌的。在《何心隐集》附录《省志本传》中，我们可以读到这样的文字：“分宜欲灭道学，华亭欲兴道学，而皆不能，兴灭者必此人也。”这里的此人，指的是张居正。而分宜和华亭分别指的是严嵩和徐阶。这样，何心隐与蓝道行设计，帮助徐阶除去严嵩，便成为顺理成章的事情。从而，使这里发生的一切，不再笼罩在或神怪或演义或戏说之中了。（在此，需要向历史学家邓志峰先生致敬，正是在他的著作《王学与晚明的师道复兴运动》中，给我们提示出了如此重要的方向。）
几天后，御史邹应龙上书弹劾严嵩、严世蕃，并保证，若有诬陷不实之词，请皇帝杀自己的头，以谢严氏父子。
此时的严嵩，必定深切感受到了那迫人而来的满楼山雨、压城黑云。因此，他将同事十年、并且把孙女都许配给了严家的徐阶请到家中，于酒席宴上，令严世蕃为首的全体儿女子孙，环跪在徐阶面前，自己举起酒杯对徐阶说：“嵩旦夕且死，此曹惟公哺乳之。”——我活不了几天了，说不定哪天就死了，这些孩子唯有拜托先生您费心了。
据说，徐阶慌忙将他们一一扶起，温言抚慰，说了许多感谢严嵩多年提携的客气话。当夜，宾主相谈甚欢，至夜半时分，方执手话别。
从嘉靖十五年，严嵩来到北京，二十六年间，很难统计究竟有多少人弹劾过严嵩。邹应龙是唯一一个没有为此受处分遭报复，反而升了官的。
公元1562年，即嘉靖四十一年五月，严嵩被令致仕，即退休；严世蕃被逮捕入狱。
此后，一波三折，颇为跌宕。
《明史纪事本末》记载，严嵩退休回家后，有人对徐阶说：“这些年，您受够了严氏父子的窝囊气，现在该收拾他们了。”据说，徐阶骂道：“没有严老先生，哪里有我的今天。在这种时候为难他，不是忘恩负义吗？人们会怎么看待我？”据说，严嵩也派自己的亲信来看望徐阶，可能是探问徐阶的口气，徐阶的回答大体如上。而严世蕃则在被判处流放的过程中，买通有关人员，也潜逃回江西老家。当此时，严嵩和徐阶两人之间，时常通信，殷勤地互致问候，就好像从来没有过芥蒂一样。之所以如此，是因为徐阶深知皇帝并没有忘情于严嵩，时时因为想起严嵩来而眷恋不已，闷闷不乐。甚至就像一个被人强行收走了玩具的、惯坏了的孩子，时常给徐阶出难题、发脾气。