如果我们尊重历史的话，公正地对待严嵩，他之所以被纳入奸臣行列，被后人肆意丑化，除了政敌们的蓄意污蔑，他的儿子严世蕃的胡作非为，最终把老父亲拖入有口难辩的尴尬境地，是其中一个重要的原因。
自古有许多帝王将相、才子能臣，可率千军万马所向披靡杀敌于疆场，可呼风唤雨威震一方天地，然而面对家中悍妻、膝下逆子，常常却束手无策、徒叹奈何。严嵩的夫人欧阳氏倒是个本分而恪守妇道的贤淑女人。——顺便说一下，在明代官僚士大夫热衷****、淫逸成风的时代大气候下，严嵩终其一生只有这位原配欧阳氏，连世俗所允可的姬妾都未曾纳一人进门。严世蕃是严嵩唯一的儿子，很可能就是这根继承香火“独苗”的因素，家中上下视作宝贝，娇生惯养，最终造就了其恣意妄为的性格与行为习惯。——当然这与严嵩温和的性格不无关系，“子不教、父之过”嘛。
严世蕃天资聪颖，但自幼落下残疾，一只眼睛从小就失明。因老爸的关系，没有经过科举考试，直接进入国子监读书。——我们不必为此惊诧与持疑，又来给严嵩扣一顶借手中权力为儿子开方便之门的帽子，此类对高干子弟的优待政策，在共产党的新中国也是见多不怪的平常事，许多党的高级领导子弟，都是这样进入清华、北大、北航、哈军工的。严世蕃纨绔，但并非不学无术，相反他从小就好学善思，尤其对政治之道颇有兴趣，常出惊人之语。正因此，他成人之后就成为父亲为官处事的帮手，严嵩老迈，“且旦夕直西内，诸司白事，辄曰‘以质东楼’。”有一些事情严嵩会交给儿子严世蕃代为处理。而严世蕃的个人身份是大明工程建设部副部级官员，一向处事谨慎的严嵩，也正是由此时开始，被这个儿子带上了歧途。
严世蕃生活上与其父截然相反，追求奢华排场，不拘小节，花天酒地；好色淫逸，据称有二十七个姬妾；贪财纳贿，史载他连皇太子裕王朱载垕（嘉靖之后的穆宗皇帝）的银子都敢收。严世蕃的言行做派狂傲而张扬，与其父严嵩风格迥异。以严嵩向来的做人习惯，对儿子的浮躁轻狂不会不心存担忧，但我们说过，面对严氏唯一的这根独苗，一个父亲的慈爱与宽容，很容易导致他心怀侥幸，虽非纵容，但确实是眼看着儿子张牙舞爪，听之任之，未加严厉地制止。而这个惹是生非自以为是的儿子，正是严嵩的软肋。
重新夺回首辅位置的夏言，淫威滥施，“复盛气陵嵩，颇斥逐其党，嵩不能救。”以羞辱打击严嵩为快，凡严嵩信任重用过的人一律清除免职。“言凡所拟旨，行意而已，不复顾问嵩。”呈送皇帝的票拟随意而行，根本不与严嵩商量。同时，迅速大量安插亲信掌控朝廷各处要要津，严嵩只能眼看着夏言为所欲为，束手无策。
严嵩的失势和无奈与夏言的得意和疯狂，有一个人一直悄悄关注着，这个人就是严世蕃。当严嵩在家担惊受怕时，严世蕃冷笑着安慰父亲：夏言并不可怕，只消儿子我一出马，这老东西必将死无葬身之地！严嵩吃惊地注视着他的儿子，猜不出混小子会做出怎样出格的事来。严嵩是属于怕见血腥的人，期望什么事都能一团和气，他不愿为了权力而刀戈相向，动辄弄得你死我活。他知道他这个宝贝儿子年轻气盛，搞不好会给他带来更大的麻烦，这一回他必须制止混小子乱来，以免给夏言留下口实，从而赶尽杀绝。“嵩惧甚，挈世蕃诣言求哀。”严嵩害怕得利害，他带上儿子世蕃到夏言府上哀求饶过。而夏言呢，“称疾不出”，以身体不适拒绝接见。无奈之下，严嵩给夏府的管家塞上银子，这才得以开门见到夏首辅，“直走言榻下，及世蕃长跪泣谢。”夏言连起身都不起身，严氏父子二人径直来到夏言的床前，跪倒在地，痛哭流涕百般求告。——要知道长跪在地的是比夏言年长几岁的六十六岁老人，目前还是朝中名正言顺的次辅！夏言的态度令严嵩胆战心惊近乎绝望，为了尽力免除是非，免遭夏言更恶毒的报复，严嵩再次退让，上疏皇帝“遣世蕃归。”让儿子回老家去。——一个胆小怕事的老臣忍气吞声做了他能做的一切求饶补救的事，这就是后世所谓的“奸诈凶恶”之人？
不管严嵩如何看待，在冷面无情的夏言面前，屈辱的一幕又一幕，深深烙刻在严世蕃的脑海里，善良的父亲能咽下这口气，自尊心极强的他决计与夏言不共戴天。严世蕃联络上都察院的杨博、锦衣卫指挥使陆炳，瞅准时机，借兵部侍郎兼总督三边军务的曾铣提议收复河套的事件，撺掇父亲严嵩上疏弹劾极力赞成曾铣的夏言。嘉靖皇帝接受了，他不能容忍臣子把自己置于危险之地，也不能再让夏言肆无忌惮地横行下去，这个刚愎自用的首辅明显比温顺听话的严嵩难使唤。
严世蕃设计的反击策略大获成功，嘉靖二十七年（公元1548年）正月，夏言罢官离京，十月份，嘉靖一道圣旨，“杀大学士夏言”，“弃西市”斩杀于西四牌楼。——夏言的死是有些凄惨，而这笔账完全要记在严嵩头上吗？性格决定命运，要算也只能算在他自己头上，一则他为人过于心狠，处事极端，二则怪罪他把天不怕地不怕的严世蕃当成了性格绵软的严嵩，第三也是最主要的原因，自负过了头，太拿自己当回事，忘记了西苑炼丹的那位朱家江山掌门人。杀夏言的是嘉靖，严嵩记恨夏言，但他不可能有那么大的能量，唆使皇帝去砍前任首辅的头。