自从卢杞来到政事堂上班，杨炎就不得不和他一块办公，而且每天还要和他面对面共进午餐，于是杨炎便时常有恶心欲吐之感。后来，每到中午用餐时，杨炎总是借口身体不适，跑到别的地方吃饭，才算解决了食欲不振、吃不下饭的问题。
卢杞一看杨炎连吃饭都躲着他，气得一张蓝脸都变绿了。
为了给杨炎一点颜色瞧瞧，同时树立自己的权威，卢杞入相不久，就借故炒了一个中书主书的鱿鱼。要知道，中书主书可是杨炎的部下，卢杞这么干，摆明了就是要挑衅滋事。杨炎气得在背后直跺脚：“主书是我的人，有什么过错我自会管教，哪轮得到你这个丑八怪来狗拿耗子？”
不过气归气，此时的杨炎也知道自己已经失势、风光不再了，所以除了跺跺脚、骂骂娘之外，实在也没别的办法。
建中二年六月，山南东道（治所襄阳，今湖北襄樊市）节度使梁崇义一再违抗天子诏命，大有割据反叛之势，德宗遂命淮宁（原淮西，治所蔡州，今河南汝南县）节度使李希烈率诸道兵马讨伐。可是，杨炎却力劝德宗不要任用李希烈。他说：“李希烈是李忠臣的养子，深受李忠臣宠信，而李希烈却恩将仇报，驱逐李忠臣，夺其权位。此人狠戾无情，身无寸功之时尚且如此嚣张不法，一旦讨平梁崇义，朝廷何以制之？”
应该说，杨炎的担心是有道理的，可德宗正对李希烈寄予厚望，根本听不进他的话。杨炎一再坚持，令德宗大为恼怒。
七月，因淮宁地区阴雨连绵，故李希烈迟迟没有出兵。生性多疑的德宗不免七想八想，卢杞趁机向德宗密奏，说：“李希烈之所以迁延逗留，正是因为对杨炎不满。陛下何必为了顾惜杨炎而坏了国家大事？依臣之见，不如暂时罢免杨炎，让李希烈高兴一下，等到平定梁崇义后，再恢复杨炎的职务也无妨啊。”
德宗颇以为然，遂罢免杨炎的宰相职务，改任左仆射（自玄宗时代起，尚书省的左、右仆射已经变成没有实权的虚职），同时在卢杞的举荐下，擢升前永平节度使张镒为中书侍郎、同平章事。
稍后，卢杞又提拔了一个叫严郢的人担任御史大夫。毫无疑问，张镒和严郢都是卢杞的死党。随着卢杞一党全面把持朝政，杨炎的末日就到了。
这年八月，李希烈轻而易举地讨平了梁崇义。与此同时，卢杞也展开了对杨炎的绞杀行动。
卢杞是从杨炎的儿子杨弘业身上入手的。
按照“权力导致腐败，绝对权力导致绝对腐败”的官场铁律，老子贵为首席宰相，儿子通常不会是什么好鸟。这位杨公子就仗着他老爸的权势，干了一大堆贪赃枉法、受贿请托的事情。严郢被卢杞提拔为御史大夫不久，就在其授意下对杨弘业实施了立案审查。
杨公子被纪检部门“双规”后，吓得六神无主，不但把他自己干过的丑事儿一股脑儿全都抖了出来，而且还把他老爸不久前刚做的一件事也坦白交代了。
这件事的关键词是：家庙。
所谓家庙，就是宗族祠堂。在古代，凡是混得有头有脸的人都很重视宗族祠堂的建设，因为它不仅可以光宗耀祖，还能借此彰显自己的身份、地位和权势。所以，普通人盖家庙也就是一间两间，达官贵人一盖可就是一大片了。杨炎贵为首席宰相，他的家庙当然更要盖得傲视群雄，不仅要占地广阔、富丽堂皇，还必须建在一块风水宝地上。
杨炎物色的这块风水宝地，位于长安城东南角的曲江江畔。这里花红柳绿，景色宜人，在长安城里绝对算得上是一等一的宝地，因此，土地的价格自然就不会便宜了。
为了筹足资金搞到这块地，杨炎决定卖掉他在东都的一座宅子。
照理说，不管是卖宅子还是盖家庙，都是杨炎的私事，只要他不强买强卖、仗势欺人，也就没什么问题。但是，杨炎还是在这件事上出了问题，而且是大问题。
首先，杨炎并不是把东都的宅子卖给私人，而是卖给了公家。
为什么要卖给公家？
这里头当然就有猫腻了。当时，在东都洛阳说话算数的是河南尹赵惠伯，此人是杨炎的心腹。杨炎就建议他动用公款购买这座宅子，至于公家买这个宅子能干什么用，那就不在杨炎的考虑范围之内了。
杨炎关心的，只是价格。
当然，赵惠伯没有让杨炎失望，很快就用了一个让杨炎很舒服的价格购买了宅子。
后来，从杨公子的口供中，御史大夫严郢查明，这座宅子的成交价比当时的市场价高出非常多。
这回好了，围绕着家庙问题，杨炎的第一桩罪行浮出水面了。严郢立刻上奏卢杞。卢杞随即找来最高法院院长（大理寺卿）田晋，问他杨炎该当何罪。田晋答：“依照法律，主管官员在公物交易中获利，视同索贿论处，应当撤职。”
“撤职”当然不是卢杞想要的答案。卢杞阴沉着脸对田晋进行了一番暗示，可田晋还是坚持要依法办事。卢杞不说话了，第二天就把这个大理寺卿逐出了朝廷，贬为衡州司马。然后，卢杞又找了大理寺的另一个官员，让他给杨炎定罪。这个官员很聪明，马上说：“政府官员执法犯法，应当判处绞刑。”
要的就是这句话！
至此，杨炎的索贿罪名算是成立了。但是，要一举将他置于死地，卢杞觉得这个罪名还不够分量。
什么才够分量？
谋反。
可是，杨炎不过就是盖了一座家庙，够得上这么可怕的罪名吗？
够得上，绝对够得上！中国官场的事情历来如此，说你有事你就有事，没事也有事，说你没事你就没事，有事也没事。卢杞稍微动了下脑筋，往深里一挖，杨炎的第二桩罪行、也是足以令他死无葬身之地的罪行，立马浮现在世人眼前了。
原来，杨炎并不是第一个在曲江江畔盖家庙的。早在开元年间，当时的宰相萧嵩就在这里盖了一座家庙，可玄宗认为这里是长安官民休闲游乐的风景胜地，不适合建私人祠堂，就让萧嵩把家庙迁到别处去了。
抓住这个证据后，卢杞如获至宝，随即上奏德宗：“杨炎家庙所在的这块地，历来就有王气，所以玄宗皇帝当初才会命萧嵩搬迁。杨炎明明知道这一点，却故意在此地建庙，显然是包藏祸心，图谋不轨！”
好了，啥也别说了。
皇帝非常生气，后果非常严重！
建中二年十月，德宗断然下令，将左仆射杨炎一下子贬到了天涯海角——崖州。
崖州，就是今天海南的琼山市。现在，海南是无数“驴友”趋之若鹜的热带天堂、度假胜地，可在当时，这里却是未经开发的蛮荒之地，终年瘴气肆虐、疾病流行。被贬到这里的官员，十个要挂掉九个，剩下那一个，就算有生之年能回长安，差不多也只剩半条命了。所以，在当时所有官员的心目中，崖州几乎就是地狱的代名词。
这年冬天，某个北风呜咽的清晨，杨炎坐在一驾吱吱作响的马车上，凄凄惶惶地走上了不归之路。在途经广西一个叫“鬼门关”的地方，文章圣手杨炎满怀悲凉地写下了一生中的最后一首诗：
一去一万里，千之千不还。
崖州何处在？生度鬼门关。
杨炎知道，被贬崖州就意味着死。
然而杨炎并不知道——他甚至已经不能活着走到崖州了。
德宗皇帝派出的使者，在距离崖州一百里的地方追上了他。然后，一条冰冷的绳索就不由分说地套上了他的脖颈……
数日后，河南尹赵惠伯被贬费州（今贵州思南县），还没走到贬所，就遭遇了跟杨炎一样的命运。
诛杀杨炎后，德宗李适终于去掉了一块心病。接下来，他终于可以集中精力对付那些跋扈藩镇了。
李适是一个胸怀大志、自视甚高的皇帝，早在即位之前就对肃、代两朝的政治乱象深感不满。他实在搞不明白，自玄宗末年以来，天下诸藩、尤其是河北诸镇，凭什么如此嚣张跋扈、为所欲为，动不动就自立自专、兴兵反叛？而李唐中央又为何如此软弱无力，屡屡被臣藩玩弄于股掌之间？
面对这一切，李适很愤怒。
所以自从登基之后，李适就一直在等待机会，以便铲除那些“名为藩臣，实如异域”的跋扈藩镇，将权力收归中央。
要想达成这个目标，最方便的入手处，当然就是废除诸藩“父死子继、兄终弟及”的世袭制了。在李适看来，只要那些强藩一死，朝廷拒绝承认强藩子弟的世袭权力，李唐中央的权威就有了重塑的可能。
建中二年正月，德宗李适等待已久的机会终于出现——成德（治所恒州，今河北正定县）节度使李宝臣死了，其子李惟岳向朝廷上表，企图继任节度使职。
李适意味深长地笑了。
他给出了一个世界上最言简意赅的回答——
不！