来到天子身边，如何才能把眼前这位帝王摆弄顺，成为李林甫唯一用心的事情。李林甫继续发扬光大之前的成功经验，那就是巩固与唐玄宗身边那些宦官、妃嫔乃至家人的关系，借此来“伺上动静”，以便预知和掌握天子的所思所想。有了这一个便利条件，“故出言进奏，动必称旨。”保证了他的进言献策都能暗合天子心意，而这种君臣思想上的默契，换来的是李隆基对他进一步地赏识和信任。
“林甫面柔而有狡计，能伺候人主意，故骤历清列，为时委任。”在皇帝面前，李林甫脸上总是一副和善谦逊的表情，但心里时时琢磨着如何巧对帝王，平和的面目下他时刻都在揣摩天子的心思。这不是一般人能够做到的，一则心智聪明，二则需要思维敏捷，三则当然是脑子里装的鬼点子要多。李林甫也应属于特殊材料制成的“人”，正因为他具备这些曲意逢迎的天赋，所以他很快骗取了天子的信任，爬上高层步入清贵的行列。
开元二十三年（公元736年），李隆基再次提拔李林甫任吏部尚书（部长）、同中书门下三品（宰相），与裴耀卿、张九龄均加授银青光禄大夫，成为皇帝身边三位宰辅之一。
这时的李林甫已经位极人臣，似乎没有什么值得他再去费心思花力气的了，只须侍奉好皇帝，尽可以过高贵显达的日子。这是我们一般人的常规性的思维习惯，对于李林甫这种弄权的人，他的思维逻辑始终围绕着手中权力的安危来进行，固然已经做了三宰辅之一，但这个位子并非一劳永逸，仍存在隐患。隐患在哪里？隐患就在于和自己平起平坐且论起学识、资历来，比自己更胜一筹的张九龄和裴耀卿。人的贪欲是深不见底的，站在现在的台阶上，李林甫感觉如果没有张、裴二位，自己能独掌朝政大权，那将是多么理想和美好的事情。于是，他着手在笑脸遮掩下，一步步清除障碍、搞倒对手。
张、裴、李三人小组辅政，本来就只是皇帝李隆基的一厢情愿，作为天子他当然希望和要求他们三人精诚团结、和衷共济。遗憾的是，人们之间的合作是以品性、志趣甚至才学作为前提的，而非强迫式地拉郎配。以裴、张的修养，即使可以做到三人虚心以礼相待，但李林甫的权谋逻辑，是不允许他的威权存留半点隐患的，他的利欲心是无法止步于维持现状的。就具体情况看，三人未组成之前即已埋下不和睦的种子。当时在玄宗提议李林甫做宰相时，张九龄是明确表示反对的，“陛下相林甫，臣恐异日为庙社之忧。”这话已经说得很露骨了；连朝中对三人品性略知一二的人都能看出将来的走势，这三个人搭班子，不靠谱，看上去分明是“一雕挟两兔”，而那只凶恶的雕指的正是李林甫。
当然李林甫绝不会笨得像雕一样直接张牙舞爪去撕咬裴、张二位。李林甫在官场上有一项独门绝技，就是“口有蜜、腹有剑”，杀人不见血。
武惠妃深得玄宗皇帝宠爱，太子瑛、鄂王瑶和光王琚因为各自的母亲受冷落而口出怨言，驸马都尉杨洄把这事告诉了武惠妃，武惠妃便直接找到唐玄宗，数落太子瑛等对父皇出言不逊。李隆基听了顿时生气，召宰相们来商量如何处置太子三人。
张九龄书生气重，加上心底无私，出于对大唐社稷安稳的考虑，不假思索直言劝谏皇帝：陛下这三个成年的儿子不可多得，极为可贵，太子是国家的根本，他生长在宫中，接受陛下的家教，人们没有看到他的过错，陛下怎么能因为自己的喜好变化而废掉他呢？臣不敢接受诏命。张九龄直接违逆圣上的旨意，唐玄宗听了很不舒服。李林甫当面什么话也没说，退朝后却找到皇帝身边的宦官，说：天子家里的事，何须跟外人商量。李林甫拿捏得很准，他知道宦官掉头就会把自己的话传给皇帝。——其实李林甫这句话也是在鹦鹉学舌，学的是前朝高宗李治时李勣的“此陛下家事，何必更问外人。”当时李治欲废后立武则天，遭到长孙无忌等一帮老臣的反对，李勣以此话讨好唐高宗。两位宰辅，两样态度，张九龄让皇帝顿生厌恶，李林甫巧妙地讨得皇帝喜欢。
开元二十四年（公元737年），唐玄宗巡游东都洛阳后，打算起驾回长安。张九龄和裴耀卿上前劝阻皇帝说：眼下正是农忙时节，圣驾这阵子动身，沿途各地势必要迎送接待，有可能影响秋收，还是等入冬农闲时再返回西京吧。李林甫不表态，眼看着那两位离开，他假装脚疼留在后面。皇帝问他怎么了？李林甫见二位已走远，这才凑到皇帝跟前，说自己并非脚疼，而是有话想单独对圣上讲。他说：“长安、洛阳，陛下东西宫耳。往来行幸，何更择时？”长安、洛阳对陛下来说形同东西两宫，天子巡幸还需要挑时间吗？“借使妨于农收，但应蠲所过租税而已。”假使怕影响到农忙收割，只须减免所经之地的税赋就是了。以臣之见，马上起驾。玄宗听了非常开心，当即交待一切由李林甫去安排。
朔方节度使牛仙客镇守边地表现得不错，唐玄宗想赐封他，约张九龄、李林甫来见。入朝前，张九龄就此事与李林甫作了简短的沟通，二人一致表示劝阻皇帝不能这么办。结果到了皇帝面前，“九龄极论，而林甫抑嘿。”张九龄喋喋不休一个劲地阻拦皇帝，李林甫站在边上却一声不吭。张九龄对玄宗说：边将训练士兵、喂养马匹、充实军需，那都是份内的事，陛下奖励他一些钱物就可以了，要赐之封地，不合适。唐玄宗沉默不语，心里其实很不爽。一言未发的李林甫退身出来后，把张九龄的话一字一句地传给牛仙客。第二天，牛仙客入朝求见皇帝，闹情绪摔耙子不干了，哭着向唐玄宗提出辞职。玄宗见这位能干的将领受委屈，决意封赐他，并提拔其兼职尚书。张九龄一听，这更不合适了，再次进言劝阻，像昨天一样坚决表示反对。皇帝一下子变了脸：“事总由卿？”事情都由你来决定吗？张九龄仍执迷不悟：陛下让臣窃据宰相之职，在其位就要谋其政，事情不妥臣就应该知无不言。玄宗打断了张九龄：你认为牛仙客不是贵族吗？你又是出自哪个名门？——唐玄宗用这种语气和言词，明显已超出了君臣平和议事的范围，带着些意气用事了，直接流露出对张九龄的愤怒和不满。张九龄竟然还未意识到，还在为自己辩解：臣是偏远地区一个卑贱的人，仙客是中原士族；但陛下看得起臣用在中书省，掌管拟诏颁诏这等大事，牛仙客是河湟地区一个小吏，连文件都看不懂，如果这么草率地就委以重任，臣担心难负众望。——这个顽固不化的张九龄，站在一旁的李林甫心中窃喜。皇帝的脸色已经铁青，见火候已到，李林甫站出来说话了：“但有材识，何必词学，天子用人，何有不可？”只要有才能见识，何必一定要饱读诗书，天子用人，有什么不行的！唐玄宗一面欣赏李林甫的体谅圣意，一面更加对迂腐多事的张九龄生厌，当下再不理会张九龄，加封牛仙客为陇西县公，食实封三百户。这件事上，张九龄又失了一分，李林甫又添了一分。
朝中有位户部侍郎叫萧旻，是李林甫的死党，跟李林甫一样的不学无术。有一次萧旻与中书侍郎严挺之一块去人家里吊唁，把《礼记》中“蒸尝伏腊（音西）”读成了“伏猎”，起初严挺之以为自己听错了，问了一边，萧旻仍旧错读作“伏猎”。严挺之把这个笑话讲给了张九龄听，语含讥讽地说朝中竟有“伏猎侍郎”。张九龄觉得这事非同小可，一个白字先生怎么能继续在内阁供职，遂将萧旻贬作岐州（今陕西凤翔）刺史。李林甫因此给张九龄、严挺之记了一笔账，一直在寻找机会报复。后来严挺之前妻的现任丈夫蔚州（今山西灵丘）刺史王元琰犯了贪污罪，前妻来向严挺之求助，一日夫妻百日恩嘛，严挺之找有关部门通融了一下，免了王元琰的罪。李林甫得知情况后，跑到唐玄宗那儿状告严挺之循私情枉法，包庇开脱罪犯。玄宗叫来张九龄，怀疑严挺之与前妻私通，气哼哼地问：王元琰明明贪污，前妻来找，严挺之就请托关系为其免罪，很有面子啊！张九龄忙给皇帝解释：那是挺之的前妻，现在挺之已与崔氏结婚，他两人没有私情。李隆基置之不理，完全听信李林甫的诬告，坚持认为严挺之与前妻有问题。张九龄见自己一时难以说服皇帝，又拜托侍中裴耀卿去皇帝面前求情。这一来，全钻进了李林甫的圈套，裴、张二人一起被牵进了挺之案中。唐玄宗一怒之下，“籍前事，以九龄有党，与裴耀卿俱罢知政事。”借着这事，联想起此前的种种不满，皇帝认定张九龄结党营私，不再让他俩过问朝政，留了个左、右丞相的虚名，将严挺之贬为洺州（今河北广平）刺史，王元琰流放岭南。“即日林甫代九龄为中书”，张九龄的职权由李林甫取而代之，牛仙客被征召入朝任工部侍郎（基建工程副部长）、同中书门下平章事，执掌门下省的事务。
身边的两个最大的对手被李林甫一步步挤出中枢，他仍觉不踏实，找了机会又狠狠地给了张九龄一棍子。监察御史周子谅上书奏牛仙客没有当宰相的能力，玄宗阅罢奏折一气之下杖杀周子谅。李林甫趁机火上浇油，说周子谅幕后的指使者是张九龄，周当年就是张九龄荐举提拔的。唐玄宗见张九龄仍在朝中唆使爪牙滋事，索性一道圣旨把张九龄贬到荆州，外放去做了个刺史。
正直的人永远斗不过奸佞，牌理就不同，张九龄等是按规矩在做事，李林甫居心叵测地以诋毁、栽赃陷害为能事，江湖乱道，这就注定了“正”常常不得不败于“邪”。