王维一听是李隆基来了，顿时大惊失色。李隆基平时很少会到这里来，偏偏自己私自邀请孟浩然来了这里，皇上就也往他这里来。私邀入宫和擅入宫廷，这可都是欺君犯上的杀头之罪，这件事如果让皇上知道了，自己和浩然很可能就会性命不保。
王维没想到，事情一下子会弄得这样不可收拾。
孟浩然见王维一下子变得手足无措，就示意王维赶紧到屋外接驾，他自己则是站起来轻走几步，来到王维的寝卧之地，看别处也没有好的地方藏身，来不及细想，就抖抖衣衫，一猫腰钻到王维的床下躲了起来。
王维有些神色慌张地出得院来，看见李隆基带着礼部侍郎贺知章和几个文人正立在门外，于是连忙上前，在李隆基面前跪地伏拜，恭迎圣驾。
李隆基满脸笑容地望着王维，兴致勃勃地上前几步，把王维从地上扶起来。原来李隆基写了首新诗，一时高兴，就带着贺知章几个来到王维的住处，欲与王维一起探讨。
王维茫然无措地把李隆基和贺知章几人领入屋内。
李隆基在众人的簇拥之下，正待落座，却看见桌台上放着的两杯茶水还正在腾腾地冒着热气，再看王维有些神色慌张的样子，于是指着桌上的茶水问王维，这里是不是有人来过。
王维见皇上已经看出了隐情，他惊慌失措，不敢再相隐瞒，只好扑通一声，在李隆基面前跪了下去。
王维战战兢兢地向李隆基陈说了自己私自邀浩然来此谈论诗作、商较风雅之事，请求皇上发落。
李隆基一听，先是一脸肃然地沉默片刻，而后，在众人的一片惊悸之中，面带笑容地把王维从地上扶了起来。
站在李隆基身后的贺知章见皇上脸上露出了笑容，这才为王维和孟浩然二人松了口气。
李隆基见王维一脸神色紧张，便故作轻松地向王维问道：“你说的是从襄阳来的孟浩然吧？这个人我多次听人说起过了，可就是还没见到过他。他人呢？为什么要害怕得躲起来？”
王维见李隆基言谈爽朗，连忙叫浩然出来拜见皇上。
孟浩然躲在王维的床下，心情慌乱，正在躲着也不是、出来也不是的时候，听见王维在外面叫他。他觉得事已至此，躲是躲不过去了，于是从床下爬了出来，然后扑通一声跪拜在李隆基面前。
李隆基见孟浩然从床下爬了出来，先是一阵惊愕，接着觉得有些不可思议，于是让孟浩然从地上起来。
孟浩然长跪不起，李隆基望着一脸清癯的孟浩然，连忙把他从地上扶了起来，望着他问道：“孟卿是带着诗到这儿来的吗？”
孟浩然连忙回答说，碰巧没带诗来。
李隆基于是让孟浩然把最近的诗作吟一首给他听。李隆基金口一开，便是皇命难违。
孟浩然心想自己的近作不就是《岁暮归南山》吗？他这么想着，稍作犹豫，便把这首诗吟咏了出来：
北阙休上书，南山归敝庐。
孟浩然这两句诗刚一出口，就让李隆基的心猛地一沉。
李隆基心想：他吟的这两句诗是什么意思？不必到北边的皇宫去上书了，还是回南山的敝庐去。他这分明说的就是不要给我上书吗？我到底哪里做得不好，让这个谦谦文人竟敢公然在我面前藐视于我？他不由得就拉长了脸。
不才明主弃，多病故人疏。
孟浩然这两句还没吟完，李隆基便抓住了话柄，他一摆手说：“是你自己不能应举求进，朕什么时候弃你不用了？你为什么要这样诬蔑我？”
站在李隆基旁边的贺知章见皇上如此盛怒，连忙为孟浩然吟“北阙休上书”进行开脱。
李隆基此时正是怒火中烧，他不屑一顾地向贺知章等人一挥手说：“他为什么不在我面前吟‘气蒸云梦泽，波撼岳阳城’？好了，孟浩然欲回南山，就让他回他的南山去好了。”
李隆基说完，满脸盛怒，转身带着贺知章几人愤愤而去，留下王维和孟浩然二人面面相觑。
王维和孟浩然见李隆基如此盛怒而去，担心他会对浩然擅入宫廷之事予以深究。于是，二人赶紧出宫，坐着马车来到张说府上，向张说详述事情的前因后果，请求张说在李隆基面前对王维私邀浩然入宫之事进行开脱。
张说听王维、孟浩然二人说完，不禁一脸感叹地对浩然说道：“你吟你的‘气蒸云梦泽，波撼岳阳城’多好，为什么要去吟‘北阙休上书，南山归敝庐’呢？”
张说对李隆基十分了解，他知道，既然皇上已经说让浩然自回南山，就不会对他擅入宫廷这件事再予追究。但是，在长安，谁都不能再挽留他了。于是，张说劝浩然离京之时不要声张，低调而回，免得再惹麻烦。
王维没想到，自己这次私自邀请浩然入宫，竟会惹下一个这么大的乱子。
孟浩然就要离开长安了，想到从旧年到今年，滞留在长安的几百个日日夜夜，再想到自己竟是如此黯然归乡，两行浑浊的泪水夹杂着涌动在心里的酸甜苦辣，从他清癯的脸颊扑扑而下。
为了避免再生事端，除了张说和王维之外，孟浩然没有将离京还乡之事再告诉任何人。
离开长安这天，天似乎特别的冷。
客栈的一个伙计把孟浩然的行李搬出他住了一年多的客房，搬上停在院子外面的马车。天色才刚刚见亮，外面的大街上冷冷清清的，还没有什么行人。
孟浩然走出客栈，他身上穿的冬袍，因为他高瘦的身形，显得单薄而修长。
在客栈外的马车旁边，只有王维前来送行。
孟浩然和王维一起坐进马车里，车夫甩动手里的长鞭，只听得“啪”的一声脆响，驾辕的骏马随即扬起四蹄，拉着马车拐上几十丈宽的繁华的朱雀门大街，然后一路向南，飞奔而去。
一路上，浩然和王维心情凝重，相顾无言。
王维一直把浩然送到长安城的正南门——明德门外，方才下车与浩然含泪道别。临别时，王维向孟浩然赠诗一首：
送孟六归襄阳
杜门不复出，久与世情疏。
以此为良策，劝君归旧庐。
醉歌田舍酒，笑读古人书。
好是一生事，无劳献《子虚》。
王维在诗中劝浩然，只要一生平安就是最好的事，不必再去向朝廷献赋求仕了。王维已经看破世尘，他为自己挚友留下的，也只能是一声叹息。
孟浩然也向王维回赠一诗：
留别王维
寂寂竟何待，朝朝空自归。
欲寻芳草去，惜与故人违。
当路谁相假，知音世所稀。
只应守寂寞，还掩故园扉。
孟浩然与王维挥手告别，带着十分凄楚无奈的心情，登车一路向东南而去。
对于孟浩然在长安与唐玄宗李隆基的这次偶然相遇，后来的唐代诗人张祜在孟浩然去世数十年后，为他赋诗叹道：
天子好文才自薄，诸侯力荐命犹奇。
贺知章口徒劳说，孟浩然身更不疑。
唯是胜游行未遍，欲离京国尚迟迟。
孟浩然临行仓促，没有做好入蜀的打算，所以并没有前往蜀地，而是直接坐着马车往襄阳南归。而陶翰由于没能送浩然入蜀，所以，他最终也没能写《送孟大入蜀》的正文。
孟浩然离开长安，经过几日颠簸之后，过了潼关。就在出潼关的这天晚上，孟浩然睡在官道旁边的车马驿站内，他辗转反侧，难以入眠。想到自己就这样默默无声地离开京城，临走的时候，连到京城的好友们那里去辞个行都没有，越想越觉得憋屈和难受。张说、贺知章、袁仁敬，他们对自己都不错，但孟浩然总是觉得，他和他们的身份差得太远。要说友人，张九龄虽然也是位高权显，但是自己却觉得和他很说得来，能算得上是个志趣相投的友人，只是听说他现在又去了桂州（今广西桂林）。要说京城里的友人，王维自是不用说了。除了王维，关系最好的，就要数王昌龄了。自己与王昌龄的关系为什么会如此的交厚呢？或许是因为自己与他仅仅相差一岁的年龄？或许是因为他曾经有过非常穷苦的出身？这个问题孟浩然在心里想过了好多遍，可是，至于到底是因为什么，就连他自己也说不清楚。
孟浩然这次匆匆离开长安，连好友王昌龄那里，他都没有过去辞行，这让他的心里感到很是不安。
已经是夜深人静了，孟浩然独自一人披衣起床，轻轻地打开房门，走到驿站外面的旅亭里。他独自一人坐在干冷漆黑的旅亭里，倍感凄清，这让他更加怀念起自己的好友王昌龄。
这天晚上，孟浩然独自在旅亭里坐了很久，直到天色渐明时，方才起身，然后坐着马车一路东行。坐在摇摇晃晃的马车上，孟浩然心情晦暗，他觉得自己进士不第，实在是有些归乡无颜。
时值除夕将近，孟浩然决定在回襄阳之前，顺道往东都洛阳去拜会住在香山的湛然。几年前，自己心绪黯然时，就是经过湛然的一番点化，才有了后来的吴越之行。
再次来到洛阳城南的香山，景物和几年前相比没有什么改变。但是，湛然却在香山寺由上人升为了禅师。
湛然见孟浩然前来，自是高兴。只是几年不见，浩然的心情比之以前，更显沉重，人也比过去消瘦多了。
孟浩然与湛然互诉离情，他把自己近一年来的经历和苦楚，向湛然一一倾诉。湛然知道了浩然心中的苦闷，于是向他讲授佛法，指点迷津，对他进行开导和点化。
孟浩然在香山住过几日，过完了除夕，随着新年的到来，他决定向湛然告别，南往襄阳而归。
开元十八年（730）正月初六这天，孟浩然途经南阳，在南阳的驿馆里宿住下来。正月初七这天早晨，他独自一人登上驿外的一座亭子，南望襄阳，近乡情怯。他不禁想到了自己在襄阳的那些故交知己。自己这次从长安回襄阳时，由于临行仓促，连封信都没有提前给他们寄，这让他在心里总觉得有些过意不去。
坐在驿馆的亭子里，望着一轮旭日正从东方冉冉升起，孟浩然情思黯然，赋诗一首：
人日登南阳驿门亭子怀汉川诸友
朝来登陟处，不似艳阳时。
异县殊风物，羁怀多所思。
剪花惊岁早，看柳讶春迟。
未有南飞雁，裁书欲寄谁。
再往南行，只需两三日行程，孟浩然就可以回到自己襄阳涧南园的家了。