且说唐宪宗本想借拜迎佛骨祈求长寿，韩愈却上书直谏，说不信佛的皇帝寿命都长，信佛的反而都不长。他看过奏章大怒，过了一日把韩愈的奏章拿给大臣们看，要把韩愈处以极刑。
宰相裴度和崔群等大臣给韩愈求情：“韩愈虽然有犯圣上，但他若不是赤胆忠心，断不敢如此。臣等跪请圣上给他一点宽容，赦免他的死罪。”
唐宪宗说道：“韩愈说我信佛过了头，我还可宽恕他。可他说东汉以后信佛的帝王寿命都短促，这话岂不是带着刺的？韩愈虽为人臣，却如此狂妄，不可饶恕！”
皇亲国戚们也都为韩愈求情，皆说韩愈治罪太重。唐宪宗见这么多人为韩愈求情，不得不赦免韩愈的死罪，却一下子把他贬到了几千里外的潮州去当刺史，并限日动身、只身赴任。
从长安到潮州，可谓万里迢迢。韩愈别离妻儿，往潮州而去。孤孤单单一个人，凄凄惨惨，偏在这时，又遇不测。
韩愈启程离开长安，刚刚沿着驿道走到终南山（又名秦岭），突然寒风骤起，大雪纷纷。他无处避风挡雪，只得继续往前行走。他不知走了有多长时间，也不知走了多少路程，正在行走之时，忽见前面雪有数尺之深，马不能前行，附近又不见一户人家，无奈之下他想循路而退。可回头一看，归路也已经被大雪埋没。此时风越刮越紧，雪越下越大，突然又一阵狂风卷雪而来，大雪已将马腿埋没。马挣扎着，嘶叫着，把韩愈给叫得撕心裂肺。韩愈已经浑身冬透，全身发抖，不禁暗暗叹道：“吾命休也！”
就在韩愈极度绝望之时，他突然发现远处有一人踏雪而来，只见此人脚踏白雪，行走自如。大雪之中韩愈看不清此人是谁，他惊异地看着此人疾步走来，不多时此人走到近前，竟是韩湘！
韩愈惊奇地说道：“韩湘？！你何故至此，莫非收我尸骨来了？”
韩湘道：“爷爷莫怕，孙儿救你来了。”
韩愈摇摇头说道：“我如今饥寒交迫，又风大雪急，去无路径，如何救我？我命休也。”
韩湘道：“爷爷放心，我即是能来，便是能走。”
韩湘走到韩愈面前，递给韩愈一粒丸药说道：“爷爷将其吃下，即可御寒充饥。”
韩愈疑惑地接到手里，又看看韩湘，韩湘说道：“爷爷信不过孙儿？”
韩愈将丸药放到嘴里，顿觉此药甘甜无比，他将其咽下，便觉一股暖流涌遍全身。
韩湘又说道：“爷爷，现在时辰已到，即刻风住雪停。”
不多时果然风静雪停。韩愈正觉得奇怪，韩湘又说道：“爷爷你看。”
韩湘说着将手一指，但见手指处刮起一股旋风，把山上的雪只刮得漫天飞舞。旋风过后，山上现出一条小路。韩愈诧异地看着韩湘，始信韩湘果有灵异，已成神仙。
韩湘上前为爷爷牵着马，两人上了路。韩湘边走边问道：“爷爷可知此地是何处？”
韩愈环顾四周，见山上除了那条小路以外，全是白茫茫一片，摇摇头说道：“爷爷只知此山是秦岭，并不知此地是何处。”
韩湘道：“此地是蓝关。你还记得你五十大寿寿筵上，我为你献的那枝花上的一句诗吗？”
韩愈点点头道：“云横秦岭家何在？雪拥蓝关马不前。”沉思片刻又说道：“我为你凑成一首诗吧。”于是吟道：
一封朝奏九重天，夕贬潮阳路八千。
欲为圣朝除弊事，肯将衰朽惜残年？
云横秦岭家何在？雪拥蓝关马不前。
知汝远来应有意，好收吾骨瘴江边。
这首诗便是韩愈流传千古的《左迁至蓝关示侄孙湘》一诗，左迁即降职，潮阳即潮州。秦岭即终南山，瘴江泛指南方多瘴气之水。
韩湘引领韩愈到蓝关傅舍中借宿。这一夜，韩愈与韩湘在一起谈论了很久。韩湘给韩愈讲述了修真大道，韩愈心悦诚服。韩湘又劝韩愈修道，韩愈摇摇头说道：“我一生只有两个追求：一是仕途腾达，光显祖宗；一是体察民情，造福百姓。在朝廷我要为民请命、为国效力，在州府我要为民做主、造福一方。抛弃家业去修道，在我看来即便能够成仙得道也是无趣。”
韩湘道：“爷爷的诗文也是无人能比。”
韩愈笑道：“此乃无为而为。”
韩湘道：“无为而为也是道家的信仰，爷爷与道有缘，修道一定能成。”
韩愈说道：“啊！我像你一般去修道，家里的老小都不管了，他们的日子如何过？”
韩湘道：“人有旦夕祸福，爷爷如何能陪他们一生一世？”
韩愈疑惑地看着韩湘，半天说道：“你是说，我将不久于人世？”
韩湘伸出一只手，将手张开上托于天道：“爷爷洪福齐天。”
说罢两人都笑了。韩愈并未听出韩湘这句奉承话里实乃另有它意。
韩愈又问道：“做神仙的就不能回家了么？”
韩湘道：“修道之人四海为家。”
韩愈道：“那你也该回家去看看，你奶奶和林英整天想你，眼泪都哭干了。那****到家又走了，她们非得向我要人。如今我又远离家门，岂不雪上加霜？日后你回家去见她们一面，她们也可有所宽慰。”
韩湘道：“我听爷爷的就是。”
韩湘又送了韩愈一程。韩愈道：“送君千里必有一别，就送到这儿吧。现在你就回家去一趟如何？”
韩湘说道：“不久你就会重返长安。你不仅会安然无恙，还会被朝廷重用。”
韩愈问道：“以后还能再见到你吗？”
韩湘摇摇头说道：“不知道。”
韩愈又孤零零地继续前行，当他走到广州境内的增江岸边时，看见江水汹涌澎湃，水势很大，他夜里寄宿在农家村舍里，又看到这儿穷山恶水，民不聊生。他想起了他与韩湘在蓝关的情景，后悔自己不该不信灵异而向皇上表奏《谏迎佛骨表》，这是“拙谋”，使自己深陷南蛮。想到这儿，他不禁提笔写下了《宿曾江口示侄孙湘二首》：
云昏水奔流，天水漭相围。
三江灭无口，其谁识涯圻。
暮宿投民村，高处水半扉。
犬鸡俱上屋，不复走与飞。
篙舟入其家，暝闻屋中唏。
问知岁常然，哀此为生微。
海风吹寒晴，波扬众星辉。
仰视北斗高，不知路所归。
舟行忘故道，屈曲高林间。
林间无所有，奔流但潺潺。
嗟我亦拙谋，致身落南蛮。
茫然失所诣，无路何能还。
韩湘辞别韩愈，回到终南山鹤岭顶洞。
钟离权看到韩湘问道：“此去如何？你爷爷度不度得？”
韩湘道：“他仍然迷恋仕途，再有五年他的大限即到，再不醒悟怕是来不及了。”
钟离权笑道：“世人大多不是为酒色财气所迷，就是为荣华富贵所惑，不是为衣食住行所累，就是为功名利禄所诱。要得醒悟非是易事，而要得以解脱则更是难上加难。”
韩湘道：“师傅所言极是，事到如今我爷爷还要我回家去呢！”
钟离权闻言笑说道：“未尚不可，大隐隐于闹市。你如今已经得道，虽未证得大道修得正果，但可游于世间，积善修德，寻机再证大道。待到功行圆满，自会位列仙班。”
钟离权停顿了一下又道：“你如今就下山去吧。韩愈被贬，家人也被驱逐离开了长安，你去安抚他们，也是积德行善，你爷爷在潮州也还需要你呢！”
韩湘道：“徒儿即遵命下山。”
却说自从韩湘离家出走以后，卢氏一直对韩湘念念不忘，林英更是整日里思夫心切，两人到了一处便常常抹起泪来。前几日韩愈又被贬潮州，真是越是屋漏越遭连天雨。韩愈已经年过半百，又体弱多病，此去潮州只身匹马，又路途遥远，山高水险，家人怕韩愈经不起这一路的流离漂泊和风霜雪雨，担心凶多吉少。偏在韩愈刚刚动身不久，又天降大雪，狂风大作，家人更是为韩愈担惊受怕，指望着韩愈能暂作回转且避风雪，待天气晴好后再上路赴任。可眼巴巴地等不着韩愈回家，家人不知道韩愈是死了还是走了，一家人忧虑无奈，哭嚎不断。
正当韩愈一家人万般无奈之时，家里又接到了一道圣旨：“罪人之家，不可留住。”一家人被驱逐出了长安，被迫随迁。因林英是韩愈的疏辈孙媳妇，勉强准于留在家中。林英领着梅儿和几个仆人在家中看家护院。
韩愈的四女儿韩驽病卧在床，年龄才十二岁，父被流放，家被驱逐，惊恐之中病情加重，也不得不和家人一起被驱逐出来。一家人抬着她上了路，路上风餐露宿，山路颠簸，韩孥经不起折腾死在秦岭南麓的商南县层峰驿。卢氏一家老的老，小的小，大儿子韩昶才刚过二十岁，接连不断的灾祸使他们无法承受，仿佛天已塌下来了一般。卢氏带着一家人，在韩驽坟前哭得死去活来。