张说在致仕之后，多数时间都是在家里专心致志地研究撰写文史，然而李隆基依然时常向他询问军国大事。这样毕竟有些名不正言不顺，时间久了，引来不少朝臣非议。开元十七年（729）二月，李隆基授张说尚书右丞之职，不久，迁任尚书左丞。这样，皇上再召张说请问政事，就变得名正言顺了。开元十七年三月初三上巳日这天，李隆基亲自摆酒设宴，请张说入筵，席间，李隆基亲自为张说赋诗相赠，不久，又授予张说开府仪同三司的爵位。
进入开元十八年（730）之后，已经六十四岁的张说渐感身体衰弱，他开始把自己的诗文札记整理成册，一共二十五卷。
入秋之后，张说偶感风寒，没想到就此一病不起。开元十八年十二月，张说卧病床榻，李隆基前去探望，张说预感自己时日不多，在病榻上强撑着坐起身来，紧紧拉着李隆基的手，希望他能对张九龄这样重德望、轻权位、品行贤良、秉性忠直的文人多加重用。
就在李隆基床前探病之后不久，开元文学泰斗张说，在历经三起三落的坎坎坷坷之后，悄然与世长辞，享年六十四岁。
恩师张说的病逝，让李隆基悲痛不已。回思往日的恩恩怨怨，李隆基抚棺抽咽，落泪不止。他下令停止朝会，对张说进行隆重悼念，赠张说太师称谓，赐谥号曰文贞，并亲自为张说制书碑文，丧事交由太常寺主理。
张说死后，人们将他的诗文札记整理成集，以张说燕国公之称谓，取名《张燕公集》，一共二十五卷，流传后世。
早在张说被罢相之后，源乾曜等一批资深老臣也逐渐淡出了朝政。张说死后，李隆基四顾茫然，他就像一个驾船远行在茫茫大海上的舵手，突然一下子找不到要去的方向，一时不知道自己要引领着大唐王朝走向何处。
朝中大臣争权夺利，愈演愈烈。
李隆基的两位心腹宠臣王毛仲和高力士之间的矛盾由来已久，王毛仲自恃是铲除韦后扶助皇上登基的功臣，从来都不把杨思勖和高力士这些宦官放在眼里，过去高力士虽然对王毛仲怀恨在心，但是一想到王毛仲是为李隆基夺得江山的铁杆兄弟，所以，一直都不敢把藏在心里的怨恨向皇上说出来。
随着年事渐长，王毛仲恃宠自傲，竟然开口向皇上要起了官位，想做朝廷的兵部尚书，李隆基没有答应，结果王毛仲面露戚色，怏怏而去。王毛仲走后，李隆基很不高兴，他暗暗地想，如果朝中的臣子都成了这样，那这国家还如何治理？
时隔不久，王毛仲的妻妾产下一子，小儿三日这天，李隆基让内侍高力士带着金帛酒馔代表自己前去道贺，并授予王毛仲的这个儿子五品爵位。高力士回来之后，李隆基向高力士问道：“王毛仲他高兴吗？”
高力士说道：“王毛仲抱着襁褓中的婴儿对我说：‘我这个儿子怎么就不能够做三品公呢？’”
李隆基一听，啪的一声把端在手中的茶盅摔碎在地上，过去的旧事新事一起涌上了他的心头，他怒不可遏地说道：“王毛仲他真不是个东西。过去诛韦氏，就数他心持两端，我就不说他什么了，没想到今天他还敢拿他的儿子来抱怨于我。”
开元十九年（731）正月，王毛仲、葛福顺诸人尽皆贬出京师，被牵连坐贬者达数十人之众。王毛仲离开长安之后，被李隆基下令赐死于永州。至此，当年帮着李隆基夺得天下的那些铁杆兄弟，尽皆被李隆基扫地出门。
王毛仲死后，高力士被李隆基尤为信重，由此宦官权势日盛，四方呈奏，都先交由高力士过目，然后呈报皇上批奏，由此，内侍高力士权倾朝野。由于李隆基对宦官日益信重，于是，他便自然而然地开始耳濡目染起声色犬马之事，对国家朝政也就渐渐开始疏于治理，由此，整个大唐王朝也就自然而然地慢慢走起了下坡路。
身为一介布衣，国家的事，孟浩然自是丝毫不能左右，但是，张说的辞世，却让孟浩然实实地难过了好一阵子。回想起张说的音容笑貌，泪水一次次淌过他那消瘦的脸颊。
直到二月初，孟浩然才从张说病逝的阴影中慢慢走出来。及待情绪好转，孟浩然方才自润州动身，沿运河南下，经余杭前往山阴。
二月末，孟浩然来到山阴寻见好友崔国辅，恰好远在乐城的张子容奉使前往长安，也来到山阴。二人在崔国辅府上相遇，自是特别高兴。
张子容是奉使入京，所以，不可在此久留。
临别前，崔国辅带着孟浩然、张子容一起登上会稽山余脉的秦望山游赏，孟浩然站在秦望山的青岭之上，向西北远望，他的目光越过群峰错列的山峦，仿佛看见了一片繁华的西京长安。那里曾经是他怀揣希望的一片圣地，然而，现在却变成了让他失望落魄的伤心地。
现在已是二月末，等张子容到长安去的时候，应该到了四月中，那时，正是长安瓜菜上市的时候，这不禁又让孟浩然想起了召平落魄之后，在长安城外种瓜的故事，自在心里一阵唏嘘。
三月的山阴，阴雨绵绵，四野村庄整日都笼罩在一片迷蒙的雨雾中。这样的天气，孟浩然每日都住在崔国辅的府上，哪里也去不了。直到三月中下旬，时近谷雨，天才终于晴了。
春夏之交，山阴一带的河野山川，林青水秀，正是游赏观览的好时节。
这天，崔国辅带着孟浩然来到位于山阴的水乡胜地——镜湖。
镜湖是位于山阴、会稽一带最大的天然淡水湖。它西邻山阴古镇，东连梅山，湖面宽阔，并且湖中小岛由古桥与湖堤相连，这里雁翔鹭舞，桑青水碧，景色秀美怡人。
暮春时节，阳光明媚。孟浩然与崔国辅偕游镜湖之上，但见镜湖湖面水平如镜，水上山水相映，水下游鱼历历。孟浩然抬起头来举目四望，满眼山青水阔，鸥鸟翩飞，船行水上，如游画里。望着眼前美景，孟浩然本是有些抑郁的心顿时阴霾尽去，一片空灵。他用手轻掬湖水入口，湖水甘甜如饴。望着眼前这一湖好水，孟浩然情不自禁地唱起屈原的《渔父》来：
沧浪之水清兮，可以濯我缨；沧浪之水浊兮，可以濯我足……
崔国辅也被孟浩然的情绪所感染，一路轻歌相随，二人玩得好不尽兴。
孟浩然来山阴已经快一个月了，在三月末，孟浩然与崔国辅在山阴告别，然后沿若耶溪而上，往东南会稽山而去。孟浩然打算在这里游若耶溪，探夏禹穴，赏游兰亭，览尽水乡物华之胜。
这日天明之后，孟浩然独驾轻舟一叶，泛舟若耶溪之上，沿着碧绿的溪水徐徐而行，一溪绿水澄如明镜，映照两岸青山，窥之如画。
若耶溪在山阴城南二十里的若耶山下，相传在春秋时，越国美女西施曾经就在这条清溪浣纱，所以，若耶溪又被称作浣纱溪。孟浩然缓缓摇橹溪上，但见溪水两岸，树密林幽，山雾轻笼，雀鸟声声，观之如真如幻，闻之似喧似静。孟浩然独自一人置身山野，游赏闲逸，探物寻趣，不知不觉天色已晚，虽然意犹未尽，却也只好回棹返舟。
孟浩然轻轻地荡着小舟，沿着汩汩流淌的溪水顺流而下，其时日暮西山，一轮火红的落日伴着满天红霞，映照着清清碧水。若耶溪上，风逐波起，金光粼粼。孟浩然轻轻地划动着船橹，向溪水的两边望去，他看见一位白首老翁垂钓岸上，悠然恬静。再往前看，一个美丽的村姑垂着一头如瀑的黑发蹲立在溪边的青石之上，只见她穿着一身簇新的衣裙，弯曲着如柳的腰肢，挥动着白皙的手臂，撩动着清清的溪水，忙着在溪边浣纱。
落日，清溪，钓翁，浣女。孟浩然被眼前这如画的美景吸引了，那蹲在落霞余晖之中美丽的溪边浣女，莫不就是当年在此浣纱的西施？孟浩然被眼前的情境所感染，摇橹上前欲对浣女看个究竟，等到走得近了，却又情怯，只好默默不语，荡舟而去。
眼看着离那溪边的浣纱女子越来越远，孟浩然情思难抑，赋诗一首：
耶溪泛舟
落景余清晖，轻桡弄溪渚。
澄明爱水物，临泛何容与。
白首垂钓翁，新妆浣纱女。
相看未相识，脉脉不得语。