不过，李林甫是一个善于观察形势的人。他知道，现在还不是出手的时候。
因为张九龄是张说的高徒，是继张说之后又一个名冠天下的文章圣手，而玄宗为了粉饰太平，必须依靠这种文学宰相来装点门面，所以对张九龄非常赏识和器重。在此情况下，李林甫当然只能作出一副毕恭毕敬的模样，在张九龄面前装孙子。（《资治通鉴》卷二一四：“时九龄方以文学为上所重，林甫虽恨，犹曲意事之。”）
在此后两年多的时间里，李林甫始终夹着尾巴做人，表面上对张九龄服服帖帖、唯命是从，实则一直在耐心等待翻身做主的时机。到了开元二十四年（公元736年）冬天，李林甫终于敏锐地抓住一个机会，开始了对张九龄的反击。
这一年十月，玄宗朝廷正在东都洛阳，原本预计要待到明年春天才返回西京长安，不料洛阳宫中忽然闹起了妖怪，搞得上上下下人心惶惶。玄宗非常不安，连忙召集宰相商议，准备提前回京。
当时正值农民收割的季节，皇帝御驾出行必定会影响沿途农田的正常收割，所以张九龄和裴耀卿都坚决反对，认为这么做会扰民，应该等到仲冬农闲时再出发。
玄宗一听，心里大为郁闷。
现在宫中闹鬼，他每天晚上都睡不踏实，恨不得马上就走，本来是想让宰相们赶紧准备一下，即日启程，没想到他们却一口反对，而且提出的理由又让人难以反驳。玄宗很不爽，只好拉长了脸不说话。
李林甫察言观色，心里早就有了主意，于是一声不响。
片刻后，玄宗挥手让他们退下，李林甫故意磨磨蹭蹭地落在张九龄和裴耀卿后面，等到看着他们退出大殿，马上返身回到玄宗跟前，说：“长安和洛阳，不过是陛下的东宫和西宫而已，想来就来，想走就走，何必等什么日子？假如真的妨碍农人收割，那就免除沿途百姓今冬的租税，不就什么事都没了吗？臣建议，陛下现在就向百官宣布，明天便可启程回京。”
玄宗闻言，顿时龙颜大悦，随即下令文武百官马上收拾东西，次日返回长安。
张九龄和裴耀卿接到天子的敕令时，不禁面面相觑。
他们知道，这是李林甫出的主意。
可他们却不得不承认——这的确是个聪明的主意。
张、裴二相一心只想着百姓的利益，却不惜以忤逆皇帝为代价，其做法未免有些顾此失彼；可李林甫不仅讨好了皇帝，而且还顾全了百姓的利益，如此两边讨好的做法，岂不比张、裴二人高明许多？
经此一事，玄宗对李林甫的好感又提升了一大截。反之，张九龄和裴耀卿在玄宗心目中的地位则不可避免地发生了动摇。
经过这次小小的火力侦察，李林甫基本上可以得出一个结论——张九龄远远不像看上去的那么强大。
进而言之，张九龄身上有一个致命的死穴。
这个死穴就在于——他过高地估计了皇帝的纳谏雅量，又严重地低估了皇帝的权力意志！
李林甫相信，像张九龄这种自命清高又不识时务的宰相，迟早会在至高无上的天子权威面前撞得头破血流。因此，在他和张九龄的这场较量中，李林甫知道自己根本不用花费多大力气，只须在皇帝身边煽风点火、旁敲侧击，张九龄就会乖乖地卷铺盖滚蛋！
换句话说，像张九龄这种“事无细大皆力争”（《资治通鉴》卷二一四）的姿态，其实是一种政治上的自杀行为，短时间内没有问题，可日子一长，必定会遭致皇帝的厌恶。就像一块貌似坚硬的冰，在适宜的低温环境中固然显得铁骨铮铮，可要是周围温度一旦升高，它的命运就是彻底融化。
对于这样一块冰，李林甫根本无须动手敲碎它，只要在它旁边升起一团火，再把火烧得旺一些，这样就够了。
不出李林甫所料，从洛阳回到长安没几天，张九龄就又因为一件事情和玄宗干上了。
这件事是关于朔方节度使牛仙客的任命与封赏。
牛仙客是边陲小吏出身，因精勤诚信，忠于职守，且立有战功，备受历任河西节度使的赏识，所以屡获升迁，从一个默默无闻的小吏一路升到了河西节度使。他在河西任职时，朝中就盛传他不仅恪尽职守，而且善于理财，把河西治理得很好，但具体情况究竟如何也没人知道。后来，牛仙客奉命调任朔方节度使，他的继任者到河西一看，发现这个牛仙客实在不简单——虽然他和其他节度使拿着同样的经费，可辖区内的粮食储备却异常丰盈，武器装备也比其他地方精良得多。这个继任者大为叹服，不敢掠美，赶紧把牛仙客的政绩如实向朝廷作了禀报。
玄宗闻报，随即遣使前往河西视察，发现情况确实如同奏章所言。玄宗非常高兴，觉得这个牛仙客是个不可多得的人才，马上准备把他调回朝中担任尚书。
可玄宗没想到，他刚一把事情提出来，就遭到了张九龄的否决。
张九龄说：“尚书是非常重要的职位，自大唐立国以来，这个职位要么是由卸任的宰相出任，要么是由名望、德行和才干三者兼备的人担任，牛仙客早年不过是个边疆小吏，如今突然位居要津，臣担心这么做会有辱朝廷的声誉。”
玄宗知道，张九龄一旦出言谏诤，必定不会让步，如果自己一再坚持，最后肯定又会闹得很不愉快。玄宗无奈，只好作出妥协，说：“既然如此，那么只加实封总可以吧？”所谓实封，就是分封爵位，同时赏赐相应户数的食邑。
“不可以！”玄宗话音刚落，张九龄立刻斩钉截铁地说，“封爵是用来赏赐给有功之臣的。牛仙客作为边防将领，充实武库、修备兵器是他的应尽职责，也属于日常事务，不能称为功勋。陛下如果要勉励他的勤劳，可以赐给他金帛财物，要是分封爵位，恐怕不太妥当。”
无语了。
碰上如此强悍的宰相，玄宗实在是无语了。
他之所以主动退了一步，就是想避免这种君臣相争的尴尬局面，没想到这个不知变通的张九龄还是硬生生把他逼到了墙角，真是让他既无奈又窝火。
不过，让玄宗感到欣慰的是，并不是每个宰相都像张九龄这么不通情理。
当天散朝后，李林甫没有跟文武百官一起退出大殿，而是留了下来，单独对玄宗说：“仙客有宰相之才，任尚书有何不可？九龄只是一介书生，不识大体，陛下不必理会他。”
有了李林甫的支持，玄宗的底气就足了。在第二天的朝会上，玄宗再次提出要加牛仙客实封。
当然，张九龄还是坚决反对。
玄宗勃然作色，厉声道：“难道什么事都由你做主吗？”
张九龄一震，连忙跪地叩首，说：“陛下不察臣之愚昧，让臣忝居相位，事有不妥，臣不敢不尽言。”
玄宗冷笑：“卿嫌仙客寒微，如卿有何阀阅？”（《资治通鉴》卷二一四）
你嫌牛仙客出身寒微，可你自己又是什么名门望族？
完了，皇帝说出这样的话，根本不是在讨论事情，而是在进行赤裸裸的人身攻击了！
这场廷议进行到这里，满朝文武都不禁替张九龄捏了一把汗。在他们的印象中，天子李隆基似乎很少当着百官的面发这么大的脾气，如果张九龄识趣的话，到此就该偃旗息鼓、鸣金收兵了。说到底，这也不是什么关乎社稷安危的大事，让天子自己做一回主也是理所应当的，你张九龄低个头、服个软，这事就算过去了，何必如此不识好歹地死扛，让自己和天子都下不来台呢？！
可是，百官们万万没有料到，这个不识好歹的张九龄还偏偏就死扛到底了！
只见他抬起头来，迎着天子的目光，一脸正色地说：“臣是岭南蛮荒之地的微贱之人，比不上仙客生于中原。但是，臣毕竟出入台阁、掌理诰命多年，而仙客再怎么说也是个目不知书的边隅小吏，若予以大任，恐怕难孚众望。”
此言一出，说好听点叫做据理力争，说难听点就叫做反唇相讥了。张九龄这种恃才傲物、目中无人的名士做派和认死理的劲头，比之当初的“硬骨头”宋璟和“一根筋”韩休，真可以说是有过之而无不及！
可想而知，玄宗被彻底激怒了。
他忽地一下站起身来，头也不回地拂袖而去，把面面相觑的文武百官全都扔在了鸦雀无声的大殿里。
当天的朝会再次不欢而散。
看着如此火爆的一幕，李林甫无声地笑了。
当天下午，李林甫就通过内侍宦官给玄宗捎去了一句话——“苟有才识，何必辞学！天子用人，有何不可？”（《资治通鉴》卷二一四）
玄宗闻言，不禁在心里再次发出感叹：看来还是李林甫最贴心啊！
几天后，玄宗断然发布了一道敕令——赐牛仙客陇西县公之爵，实封食邑三百户。
这回轮到张九龄彻底无语了。
牛仙客事件后，张九龄在玄宗心目中的地位一落千丈，与此同时，李林甫则扶摇直上，成了玄宗跟前的大红人。虽然李林甫在名义上还不是首席宰相，但玄宗对他的信任和倚重已经远远超过了张九龄。
局面演变到这一步，张九龄在玄宗眼中仅存的最后一个优点，也就是他那不计个人得失的坦荡公心了。尽管玄宗对张九龄的名士做派越来越难以忍受，可他也知道——无论张九龄如何与他面折廷争，毕竟是出于公心，并非出于一己之私。所以，至少在表面上，玄宗还必须尊重这样的宰相。
然而，谁也没有料到，短短几天之后，张九龄的宰相生涯就忽然终结了。
而他被罢相的最主要原因，居然是他最不可能犯的毛病——徇私。
张九龄会“徇私”吗？
这个终身坚守道德理想，一贯孤高耿介、清谨自律的张九龄，怎么可能“徇私”呢？！
张九龄最终之所以背上这个罪名，恰恰是因为他那孤傲清高、宁折不弯的性格。当然，同时也要拜他的死对头李林甫之所赐。
最后一击：张九龄罢相
众所周知，李林甫虽是皇族出身，但是家道中落，从小就没受过多少正规教育，加上他自己对读书也没啥兴趣，所以自从入仕之后，就一直因不学无术而遭人诟病，同时也闹了不少笑话。
比如有一回，他的表弟太常少卿姜度（姜皎之子）添了个儿子，朝臣们纷纷前去道贺。李林甫也赶紧写了封贺信，连同贺礼一起让人送了过去。
宰相表哥这么给面子，姜度当然很高兴，随即当着宾客的面拆读贺信，打算好好显摆一下。没想到刚刚把信拆开，姜度就傻眼了，慌忙要把信合上。可是，有几个眼尖的宾客早就已经把信上的内容看得一清二楚了。
原来，宰相大人的信上赫然写着：“闻有弄獐之庆……”
众宾客一看，顿时忍俊不禁，纷纷掩口。
古人通常把生儿子称为“弄璋之庆”。“璋”是一种玉器，“弄璋”就是怀抱玉器的意思，是预祝新生儿一生吉祥富贵的象征。而李林甫却把玉器的“璋”写成了动物的“獐”，意思等于说人家的儿子抱着一只脏兮兮的獐鹿在玩，错得实在离谱。要是一般人也就罢了，可堂堂帝国宰相兼礼部尚书却犯这种低级错误，简直是匪夷所思。
从此，李林甫就有了“弄獐宰相”的美誉。
常言道物以类聚，人以群分，李林甫自己没文化，手下自然就有半文盲，比如他引荐的一个户部侍郎萧炅，就跟他一样是个白字先生。有一次，朝中有个同僚办喜事，百官都前去赴宴，萧炅也去了。开席前，大伙在主人的书房里坐着，萧炅闲得无聊，就信手拿起一本《礼记》来翻。翻着翻着，萧炅忽然觉得有个地方不太明白，便不由自主地念出声来。他念出的两个字是“伏猎”。
此时坐在他旁边的人叫严挺之，是张九龄非常赏识的部下，时任中书侍郎。张九龄自己学富五车，他青睐的属下当然也是饱学之士。严挺之一听就知道萧炅念白字了，错把《礼记》中的“伏腊”读成了“伏猎”。所谓“伏腊”，是指一年中的两个祭祀节日：伏日和腊日。《礼记》是古代读书人的必读书，但凡开过童蒙的，几乎无人不识“伏腊”二字，如今这个堂堂的户部侍郎萧炅，居然把它读成了“伏猎”，真是无知得惊人，堪与他的主子“弄獐宰相”李林甫媲美！
严挺之既然是张九龄的人，自然看不起这帮不学无术的家伙，于是故意拿萧炅开涮，提着嗓门大声问他：“萧大人，请问您刚才念什么？”
萧炅不知道人家在玩他，还一脸无辜地说：“伏猎呀，怎么了？”
在场众人本已掩嘴窃笑，听到这里终于控制不住，登时捧着肚子哄堂大笑。
严挺之也是又好气又好笑，过后就跟张九龄说：“朝廷已经出了一个‘弄獐宰相’，岂能再来一个‘伏猎侍郎’？”
张九龄二话不说，几天后就把萧炅贬出了朝廷，外放为歧州刺史。
就因为这件事，严挺之把李林甫往死里得罪了。
当时张九龄正和李林甫明争暗斗，急欲引严挺之入相，以便增强自身实力，但是严挺之既已得罪李林甫，要想入相势必会有很大障碍，于是张九龄就劝严挺之去应付一下李林甫，说：“如今李林甫正得宠，你应该上门去拜访他，跟他缓和一下紧张关系。”
可严挺之根本听不进去。
因为他和张九龄几乎是同一个模子倒出来的，都是一样的孤傲清高，一样的负才使气，因此压根就看不起李林甫这种人，不要说叫他登门求和，就算是李林甫来主动找他，他都未必会给对方好脸色看。
如此一来，严挺之跟李林甫的嫌隙也就越结越深了。
像严挺之这种心里藏不住事的人，自然是把他对李林甫的鄙夷和不屑全都挂在了脸上。可李林甫却不同，无论在什么场合碰见严挺之，他脸上总是一如既往地荡漾着和煦的笑容。
毫无疑问，李林甫脸上的笑容有多和煦，他对严挺之的恨意就有多深。一旦逮着个机会，他一定会让严挺之知道，得罪他李林甫将意味着什么……
开元二十四年末，也就是牛仙客事件刚刚过去不久，朝中就发生了一起贪污案。这本来是一起极为普通的案子，犯案者是一个名叫王元琰的刺史，跟严挺之、张九龄等人丝毫没有瓜葛，但是谁也没有想到，正是这起八竿子打不着的贪污案，却让李林甫一下子抓住了严挺之的把柄，以至最终把首席宰相张九龄也一起拖下了水。
王元琰案发后，按惯例交付三司（大理寺、御史台、刑部）审讯，结果发现证据确凿，罪无可赦，可就在有关部门即将定案之前，有一个女人却找到了严挺之，一把鼻涕一把泪地求他救王元琰一命。
这个女人是王元琰的妻子。
本来，像这种已经铁板钉钉的案子，严挺之是绝对不应该插手、也没有必要插手的，可这一次，严挺之却觉得自己难以推脱，非插手不可。因为，这个女人是他的前妻。
俗话说一日夫妻百日恩，尽管严挺之和这个女人早已离婚，但毕竟还是有一些旧情。严挺之经不住前妻悲悲戚戚地一再恳求，最终动了恻隐之心，决定帮她这一次忙。
此时的严挺之绝对不会想到，就因为他这一次心软，不仅引火烧身，断送了自己的大好前程，而且还连累张九龄背负着“徇私”的罪名下了台，最终还在客观上助成了一代权相李林甫的强势崛起。
就在严挺之不顾一切地替王元琰四处奔走的时候，一双像鹰隼一样锐利的眼睛已经从背后死死盯住了他。
严挺之的一言一行、一举一动，全都落入了这双眼睛之中。
数日后，当李林甫判断严挺之已经完全坐实了徇私枉法的罪名后，才不慌不忙地递上了一份黑材料。
当然，李林甫是一贯谨慎的，他出手伤人的时候，永远不会把自己暴露在明处。所以他没有出面，而是授意自己的手下，把材料递给了宫中的近侍宦官，再由他们转交给了天子李隆基。
这是致命的一击，也是最后的一击。
玄宗看完材料，顿时暴跳如雷。
好你个严挺之，谁给你这么大的胆子，居然敢营救一个已经被定性的贪污犯？！