面对如此强势的威胁，杨炎不能不感到极大的忧虑和恐慌。
所以，就算不提当年那笔旧账，杨炎也必须对刘晏下手。
就在两税法颁布的几天后，德宗召两位宰相议事。杨炎奏事完毕，忽然涕泗横流地对德宗说：“陛下可知道，刘晏此人，很早就与黎幹、刘忠翼同谋，臣身为宰相，没有尽到讨逆之责，罪当万死啊！”
客观地说，杨炎指控刘晏与黎、刘二人同谋，并不能算是诬告。因为京城早有传言，说当年黎幹和刘忠翼怂恿代宗立独孤贵妃为皇后之事，刘晏也曾参与其中。至于这个传言是否属实，那就没人知道了。
对此传言，德宗实际上也早有耳闻，只是当朝宰相如此煞有其事地向他提出来，这还是第一次。
德宗没有说话，脸上是一种若有所思的表情。
这时候，崔祐甫发话了。他说：“像这种暧昧不明的传言，不可随便采信，况且陛下刚刚颁布了大赦令（朝廷于正月初一改元，同时大赦天下），更不应该追究这种风言风语。”
杨炎一看皇帝的脸色，又听了崔祐甫的话，知道凭这则谣言八成是搞不定刘晏的，随即转移方向，说：“尚书省及其六部，是国家的政治中枢，这些年来增设了很多使职，大大分割了尚书省的行政权力，臣建议最好是裁撤诸使，恢复旧制。”
裁撤诸使，首当其冲者当然就是刘晏。
对德宗来说，关于刘晏参与阴谋的传言是无法证实也无法证伪的。所以，仅凭传言将刘晏定罪固然不妥，但完全不理会谣言似乎又让人不太放心。毕竟这则谣言传得这么凶，不会纯属空穴来风。德宗想来想去，觉得最妥当的处理方式还是像杨炎暗示的那样——可以不杀，但不能不贬。
这一年正月底，德宗下诏，宣布自即日起，将国家财税的管辖权（天下钱谷）收归户部的财务司（金部）和粮食司（仓部），同时罢免刘晏兼任的转运、租庸、青苗、盐铁等使。
二月，杨炎又怂恿德宗将刘晏贬出朝廷，理由是刘晏不久前呈上的一道奏章中有许多虚假不实之词，隐然有欺君之嫌。
欲加之罪，何患无辞！
德宗最害怕的事情就是大臣对他的欺瞒，而杨炎的话则一下子触痛了这根敏感神经。于是德宗不分青红皂白，马上将刘晏贬为忠州（今四川忠县）刺史。
事情到这里并没有结束。
因为杨炎的目的绝不仅仅是将刘晏贬官，而是将他置于死地！
这年六月，宰相崔祐甫病逝。杨炎顿时心中窃喜。因为崔祐甫一死，就再也没人替刘晏说话了。
不久，杨炎就暗中授意自己的死党、时任荆南节度使的庾准上疏指控刘晏，说他自从被贬到忠州后就满腹牢骚，经常埋怨天子，而且还与附近藩镇暗通款曲，此外又在本州大肆招兵买马，颇有起兵反抗朝廷的迹象。
庾准是刘晏的顶头上司，德宗很容易就采信了他的控辞，加上杨炎又在他耳边拼命煽风点火，德宗遂痛下决心，于这年七月派遣宦官前往忠州，秘密将刘晏缢杀，并将其妻儿老小全部流放岭南。事后，为了掩人耳目，杨炎又建议德宗发布了一道赐刘晏自尽的诏书。
然而，若要人不知，除非己莫为。杨炎疯狂复仇的行径还是被天下人看在了眼里。
刘晏无辜被诛后，朝野舆论一片哗然，纷纷替他鸣冤叫屈。
最先作出反应的是淄青节度使李正己。
去年，他卑躬屈膝地向朝廷献钱三十万缗，不料却热脸贴上了冷屁股，心里一直愤愤不平，总想找机会出出这口恶气。如今，朝廷在刘晏这件事上做得这么不地道，李正己当然要挺身而出，充当一回路见不平一声吼的正义之士了。
他旋即上疏德宗，对朝廷的做法提出了严正的抗议和强烈的谴责，同时要求德宗公布事实真相，严惩杀人凶手。
对李正己这一声吼，德宗置若罔闻，可做贼心虚的杨炎却吓得差点尿了裤子。
这就好比某梁上君子夜入暗室，盗得宝贝在手，转身欲走之际，忽然灯火大亮，满屋子站满了围观群众，这贼不活活吓死才怪。
杨炎自以为整死一个刘晏，不关别人鸟事，没想到却一下子触犯了众怒。
怪只怪他太低估刘晏的影响力了——这些年刘晏兢兢业业为国理财，其成绩实在引人注目，所以积累了相当高的威望。
现在，朝野舆论的矛头都不约而同地指向了杨炎，不管他走到哪里都有人在背后戳脊梁骨，这滋味实在是不太好受。
怎么办？
事情都做下了，人也已经杀了，难不成叫杨炎公开忏悔主动辞官，或者挥刀自刎以谢天下？
不，这是不可能的。
唯一推卸责任的办法，就是找个人来背这口黑锅。
但是，人们无论如何也不会想到——杨炎情急之下抓来消灾避祸的这块挡箭牌，居然是当今圣上李适！
建中二年（公元781年）二月，为了转移舆论的矛头，杨炎派遣了一批心腹前往各地，向诸镇的头头脑脑们解释说：“刘晏之所以获罪被诛，完全是因为他当年依附奸臣、谋立独孤氏为后的结果，皇上对他深恶痛绝，才会把他除掉，实在没有别的原因。”毫无疑问，杨炎在这里犯了一个低级错误，一个绝对不可饶恕的错误！
普天之下，他找谁来背这口黑锅都没问题，可他偏偏脑子进水，把皇帝拉出来挡枪子儿，这不是在找死吗？
马上就有人向德宗密奏，说：“炎遣五使往诸镇者，恐天下以杀刘晏之罪归己，推过于上耳。”（《旧唐书·杨炎传》）杨炎之所以派遣五路使者前往诸镇，就是担心天下人把杀刘晏的罪名归到他头上，所以才把罪过全推给了皇上。
这下麻烦大了。
德宗刚开始还不太相信，赶紧派宦官到淄青找李正己求证，结果很遗憾——反馈回来的消息和密奏内容一模一样。
德宗李适勃然大怒。
自古以来，只有皇帝抓人来当替罪羊，哪有臣子抓皇帝来当挡箭牌的？这该死的杨炎真是活腻了！
皇帝很生气，后果很严重。
从这一刻开始，德宗就已经下定了除掉杨炎的决心。只是由于这一年春，河北诸镇因继承人问题屡屡跟朝廷叫板，德宗分身乏术，才不得不暂时搁置了这件事。
虽然暂时还留着杨炎，但必须马上找一个人来制约他的权力。
德宗随后找到的这个人，就是中唐时期赫赫有名的奸相——卢杞。
建中二年二月六日，德宗改任杨炎为中书侍郎，同时任命卢杞为门下侍郎、同平章事。
从此，德宗日渐倚重卢杞，基本上把杨炎给冷冻了。
此时的德宗当然不会知道，重用卢杞将成为他帝王生涯中最大的一道分水岭。
——在过去的两年中，德宗李适凭借自己盛年即位的一腔热情赢得了一个漂亮的开局，但是自从卢杞上台以后，那些令人鼓舞、令人欣慰的大好局面就一去不复返了，取而代之的，将是一连串令他刻骨铭心的痛苦和失败。
杨炎之死
说起这个卢杞，还是颇有些来头的。
他的祖父就是开元初年与姚崇搭档的宰相卢怀慎，一生清廉，家无余财，据说死后连个棺材都买不起；他父亲卢奕也官至御史中丞，在东都任职，安禄山叛军攻入洛阳时，其他官吏纷纷逃跑，唯独卢奕坚守岗位，遂被叛军所杀。
由于父祖两代皆有令名，卢杞便凭借门荫（唐朝给予功臣后代的一种政治待遇，不经科举考试便可授予官职）直接入仕，历任监察御史、刑部员外郎、忠州刺史、虢州刺史等职，建中元年擢任御史中丞。
据说，卢杞此人有一个非常著名的特点，就是长得奇丑无比——“貌陋而色如蓝，人皆鬼视之。”（《旧唐书·卢杞传》）
世界上有黄、白、黑、棕四色人种，唯独没听说过还有蓝色人种，可卢大人偏偏就是蓝色的，怪不得人家都把他当成鬼。
关于卢杞大人的容貌，在长安坊间还流传着一则逸闻：说是郭子仪晚年接待客人时，姬妾侍女总是环绕在侧，有一次听说卢杞来访，郭子仪赶紧将侍妾全部屏退。卢杞走后，家人问他何故如此，郭子仪苦笑着说：“卢杞貌陋而心险，我是怕妇道人家一见卢杞尊容，忍不住非议讪笑。日后此人若是得势，郭氏岂能逃过灭顶之灾？”
这则逸闻起码可以说明三件事：一，卢杞的容貌的确已经丑到撼人心魄的地步；二，郭子仪的谨小慎微实在是无人能及；三，郭子仪阅人无数，他认定卢杞不仅貌丑，而且必定是一个心性阴险、睚眦必报之人。后来的事实证明，郭子仪的判断是对的。
其实，长得丑并不是卢杞的错，但是心地阴险就肯定是他的不对了。德宗派了这么一个既貌丑又心险的人来跟杨炎搭档，杨炎的日子当然不会好过。