有一次，严嵩在家里做生日宴会，恭请已经晋为首辅的夏言赴宴。夏言退回了他的请柬，没有光临。严嵩便来到夏言家的门外，跪在门口，将请柬高举过头，朗声吟诵内文。终于将帝国首辅请到了寒舍，令严府蓬荜生辉。还有一种说法，说是夏言终于没有莅临，严嵩于开宴之际，恭而敬之地跪在为夏言预留的座位前，为首辅遥遥敬酒。这种做法，应该会使夏言感觉极佳。
据说，严嵩之为人，谦恭和善，蔼然有长者之风。就是在其后来位极人臣、权势熏天之际，仍然保持着此种彬彬有礼、平和谦易之风范，绝少疾言厉色。致使其身后，天下皆指其为巨贪巨奸时，江南文坛领袖钱谦益，仍然在《列朝诗集小传》中，转述了当事人高拱所亲笔记载的一则趣闻轶事。
严嵩当国，也就是主持中央工作时，帝国臣僚和各界名流聚会，为严嵩贺寿。严嵩长身耸立，众人“俯躬趋谒”，就是快步上前鞠躬拜谒的意思。站在一旁的高拱突然“扑哧”一下笑出声来。严嵩问这个下属何故发笑？高拱回答：眼前的情形，令我一下子想起韩愈韩昌黎的《斗鸡诗》来——“大鸡昂然来，小鸡竦而待。”所以忍不住发笑。当时，在北京的江西人很多，民间俚语中，称呼江西人为“鸡”，可能和江西人的某种口音有关，完全没有这个字眼在今天的含义。结果，此话一出，全场欢声雷动，严嵩本人也笑不可抑。钱谦益悠然神往，“先辈风流雅谑，政府词林，行迹无间”，是为“嘉话也”。
年届六十耳顺之年的严嵩，背已微驼，清癯的面庞上，沟壑纵横，刻满岁月的沧桑。在一段不短的时间里，他始终以恭谨之态尊事夏言。这可能是夏言对他心生悲悯，夷然不放在眼里，一直以属下晚辈傲岸待之的重要原因。
然而，事情在起变化。
严嵩的恭谨柔顺和他文采飞扬的辞章，同样给皇帝留下了深刻印象。今天我们能够知道的《庆云赋》和《大礼告成颂》等文字，文辞华美，独具风骚，逢迎之意，其媚入骨。假如用朱元璋的标准判断，大约称得上是“谀而且佞”。此种文字，出自一位花甲老人之手，想来令人心情格外复杂。然而，正当盛年、深具辞文素养且自我感觉极佳的嘉靖皇帝，却在御览之下，甚为喜悦。逐渐，严嵩深获帝心。
而此时，同样年届花甲的夏言，却出现了颇为“另类”的老年颓唐模样。
本来，夏言应该算是一个才华横溢的人，不但在政事处理上明快精干，在诗文辞章上也颇有烂漫如霞之才。当他在大礼议和礼乐祭祀制度改革上站在皇帝一边时，便深得皇帝欢心和倚重。可是，不知为什么，他似乎忘记了一个道理，天下有才华的人太多了，皇帝更加看重的并非才华，而是忠心与顺从。因此，当上首辅之后，夏言逐渐露出恃才傲物的意思，在皇帝面前也似乎少了一些恭谨。不但不再时时事事随顺皇帝的心意，有时还丢三落四，令皇帝深感不快。因此，在很短的时间里，连续招致嘉靖皇帝不满甚至痛斥，并且曾经三次被斥逐，离开首辅之位。
后世的史家在谈到夏言的表现时，说法很多，占主导地位的说法就有两种。
一种认为，是严嵩等人的谄媚谗言，导致夏言失宠。
还有一种说法，则指斥夏言得意忘形，已经不把皇帝放在心上，从而粗疏草率所致。
更有一种说法，可能并非完全是无稽之谈。
这种说法认为：
夏言的私生活中，有一个绝大的苦恼，即没有子嗣。今天看来，这对于许多人可能正中下怀，免得还要花钱去避孕绝育。但在古人“不孝有三，无后为大”的传统下，这决然不是可以等闲视之的小事。我们知道，在古代的“七出之条”中，用一纸休书将不能生育的妻子休掉，是受到社会支持的。皇帝三宫六院七十二妃嫔与男人纳妾也都出自同样的理由。而那些不能生育的妻子们，主动为丈夫纳娶姬妾，是避免更坏的命运并赢得社会赞誉的重要手段。这和我国被视为神圣的圣贤之道、宗法制度紧密相关。
然而，屋漏又逢连夜雨，船破偏遇顶头风。没有子嗣的夏言，偏偏碰上了一位既妒且悍的妻子，令他又爱又怕。结果，为了是否纳妾以便延续子孙后代的问题，夫人发河东狮吼之威，寻死觅活，闹得翻天覆地。直到夏言年近花甲且身居帝国总理大臣高位了，看看实在生育无望的夫人，方才相当勉强地允许自己的首辅丈夫纳了小妾。由此，导致夏言身心交瘁，顾此失彼。
用这种说法，可以相当有效地说明，当皇帝命夏言撰写《居守敕》时，一贯精细勤谨、且有倚马可待之才的夏言为什么会在最后一天，才慌慌张张地交出草稿。导致皇帝痛斥他：“尔所职何事，至今日方呈草耶？”——你这首辅是干什么吃的，到今天才呈上草稿？随后，不管夏言如何惶恐哀恳，还是将其撤职罢官。是为第一次斥逐。
应用这种说法，还可以解释夏言第二次被斥逐的情形。
当时，公元1541年，嘉靖二十年八月，昭圣皇太后去世。夏言在奏疏中误写字号，遭皇帝叱责。夏言连忙谢罪，并提出身患疾病，请假还乡。结果，皇帝勃然大怒，痛骂道：“何肆意放恣一至于此？”——怎么嚣张放肆到了这种地步！立即下令将其罢免之。
嘉靖皇帝是一个极度挑剔的人，特别难伺候。他曾经为一个错别字，把一位上书言事的臣子廷杖一百，痛打后，再发配边疆充军。在喜欢采用酷刑对付臣僚方面，他可能是仅次于两位祖先——洪武皇帝朱元璋和永乐皇帝朱棣的帝国皇帝。但为一个字如此发落帝国首席大学士，似乎也有些小题大做。据说，他此时已经知道了夏言家中的情形，结果，引起的不是同情和体谅，而是深切的不满。他认为，臣子应该舍身忘家地忠于王事，哪里可以为一己之私而怠慢皇家事业？尽管他自己当初深切沉溺道教之术时的原始动机之一，就有为了广育子嗣的意思在内。由此，导致他觉得夏言已经不可信任。
从后面的专门章节里，我们可以知道，嘉靖皇帝一生高度以自我为中心，从他对皇后、妃嫔、儿子、臣僚绝无体谅的行事风格判断，上述推断可能是能够成立的。
夏言的第三次被逐，发生在半年以后，嘉靖二十一年闰五月。翻检史料，在这次事件中，夏言不但没错，反而称得上是令人尊敬的。这是一些古代的学者们，对夏言颇有敬意的原因之一。让人特别无法理解的，反倒是有今天的学者，对此颇有烦言，令人完全无法知道是出于何种肚肠。
事情的大体经过是：按照帝国制度，皇帝日常戴的帽子是乌纱折上巾，就是唐代所谓的翼善冠。当此时，嘉靖皇帝正在崇道修玄的兴头上。他不但自己喜欢戴道家一种叫香叶冠的道士帽，还让人制作了五顶道士帽五双道士鞋，分别赐给夏言、严嵩等五人。
一般说来，中国历史上，从秦始皇开始，大凡崇信道教方术的皇帝，都要耗费大量民脂民膏，且迄今为止，尚无导致良好结局的事例。不要说行多年恶政，把国家和人民糟蹋得一塌糊涂的汉武帝，就连英武如李世民的早死，可能都和服食道家丹药有关。北宋皇帝宋徽宗赵佶，将崇道推向登峰造极，后来亡国灭家。由此，形成一种较为普遍的心态，对皇家崇道不以为然。
结果，其他人都领赏谢恩，行礼如仪，只有夏言拒绝了。他的理由是：“这不是国家规定的大臣服装，我不敢接受和穿戴。”又说，“现在人们都在盯着我，穿上这玩意儿不是更授人以柄吗？”
嘉靖皇帝闻听之下，勃然震怒，令夏言退出宫苑。六十一岁的夏言，仿佛吃错了药一般倔头倔脑，他说：“须有旨，乃可行。”“下旨乃可去耳。”——必须皇帝下旨，我才能走！
这使嘉靖皇帝切齿痛恨。此后数年，直到诛杀夏言，仍念念不忘，一再提起此事。因此，明代历史学家认为，夏言被杀“由不戴香冠始”。
此时，严嵩的表现则大异其趣。他不但欣然穿戴上了道士鞋帽，还小心翼翼地在帽子上笼罩以轻纱，透出一派朦胧美感。嘉靖皇帝问他：这是典出何故？他庄重地告诉皇帝：天子所赐，不敢轻慢，恐灰尘玷污耳。其结果完全可以想见——帝心大悦。
可能就是在这一次，严嵩老泪纵横地向皇帝诉说了夏言对自己和百官肆意欺凌的情状。皇帝怜惜而且震怒，遂颁上谕，列举夏言四大罪状。听上去，居然有四大罪状，挺吓人，实际读起来，却相当牵强。譬如，不戴道士帽也是一项，等等。但是，在皇帝看起来是大罪状，这就够了。
七月一日，以“臣欺凌君上，作威作福”之罪，将夏言罢官。同时，皇帝指斥监察官员失职，不早做纠举，一口气处分了七十三名言官。一个半个月以后，公元1542年，即嘉靖二十一年八月十五日，严嵩以礼部尚书为武英殿大学士，进入内阁，参与机务，仍掌部事，为次辅。八个月后，首辅的儿子可能在科举考试中作弊，事发，首辅被削籍，就是被开除公职。严嵩成为帝国首辅。史书记载说：在此期间，内外百官但凡要做什么事情，都要先取得严嵩同意，然后才能到达皇帝耳边。于是，“副封苞苴，辐辏其户外”。古人文雅，喜欢掉书袋。所谓苞苴者，蒲草编的草包也。《荀子》：“苞苴行与？”杨倞注曰：“货贿必以物包裹，故总谓之苞苴。”说白了吧，就是行贿的红包。辐辏，是车轱辘。就是说，四面八方前来送礼行贿的车子轿子，停满了严嵩他们家门外的街道。公元1545年，即嘉靖二十四年，夏言被召回到朝廷，第四次担任首辅。
原因是，这些年来，严嵩和他那虽然长得不好看，但却聪明绝顶的儿子严世蕃贪渎之声大起。至少有十个以上臣子，揭发弹劾这父子俩贪横不法之情事。前面曾经提到，那位因为考试题被廷杖八十，当场打死的叶经，就是弹劾过严嵩的御史大夫。当时的人们相信，他的真正死因，是得罪了严嵩。
事实上，差不多在十年前，严嵩从南京来到北京后不久，父子俩就已经开始有了“贪”名，皇帝并不在意。在史料上看，他甚至一度认为是夏言在背后支使的这些弹劾。因此，弹劾越多，皇帝对严嵩越加怜爱，觉得他为了忠于王事而受委屈了。后来，严嵩的“横”名一出，甚至一度成为了“独辅”——就是唯一的内阁成员时，皇帝方才觉得有些不是滋味，于是，将严嵩的克星夏言召了回来，放到严嵩的脑袋上。
如果说，以前夏言对严嵩只是不假以辞色，还不能说是欺凌的话，这一次，他倒是真的算得上欺凌严嵩了。
他把票拟之权全部拿过来，眼睛里仿佛就没有严嵩这么个人。然后，三下五除二，把严嵩这些年提拔起来的官员，抓的抓，贬的贬，流放的流放，开除的开除，弄得严嵩好不容易搭起来的班底，一时间七零八落。此时的严嵩，唯唯而已，很少表示什么。就连他最亲近的人被撤职，他也几乎不施以援手。
帝国官场故事告诉我们，大凡到了这种情形出现的时候，故事的结局也就快到了。
不久，夏言抓住了严嵩的儿子严世蕃贪赃枉法的证据，他立即准备动本弹劾。这一次，严嵩真的慌了。他那绝顶聪明、自称天下才华自己一个人占了三分之一的严世蕃也糊涂了，不知该如何是好。于是，发生了为许多史书广泛记载和引证的故事——严嵩带领儿子严世蕃来到夏言家里，长跪痛哭，以求免祸。
事情的大体经过是：
内阁大学士、相当于帝国第一副宰相的严嵩，携大约是副司局级干部的儿子严世蕃，来到相当于帝国宰相的夏言家求情。夏言称病，将其拒之门外。严嵩将一个不小的红包硬塞进传达室工作人员的手里，然后，与儿子一起挤开该半推半就的工作人员，来到夏言的卧室。额头上敷着一块毛巾装病的夏言，听到传达室工作人员与人拉拉扯扯的声音，睁眼看去时，严嵩父子已然跪在床前，放声大哭。
据说，当时夏言长叹一声，“遂置不发”。就是把事儿搁下了。严嵩父子以此一跪一哭，逃过此一劫。
登上首辅位置之前的夏言和做了首辅之后的夏言，行事风格颇多改变。而在首辅名位上四上四下，令他发生的变化似乎更大——理智越来越少起作用，强硬与随意更多地表现，甚至全然丧失了政治斗争中的警觉与敏锐，连“谁是我们的敌人，谁是我们的朋友”这一基本问题都搞得糊里糊涂，毫不讲究政策、策略与方法，没有重点，没有层次，没有步骤，没有韬略，就像对待严嵩父子时一模一样，碰上一个打一个，只要在口头上打服了就行，仿佛是在快意恩仇一般。
夏言老矣。从里到外都已经不复当年之风采神韵。英雄暮年，他实在应该听从一位幕僚的劝告，不要第四次出任首辅之职。
不久，夏言的剑锋直指嘉靖一朝的首席宠臣——陆炳。
事情的起因大体是：这位与嘉靖皇帝吃同一个母亲的奶长大、且救过皇帝命的锦衣卫都指挥使，和另一位皇亲国戚合伙贪赃枉法，数量可能还不小，证据落到了夏言手里。夏言准备彻底查办此案。
夏言做得没有错，用圣贤的标准衡量，他是值得赞扬和歌颂的。
问题可能是出现在政治斗争的时机、策略与夏言的心态上。
当时，贪横之声最大、民怨最大、夏言最应该首先给予致命打击的敌人，当然是严嵩。结果，却被夏言轻轻放过。