唐代的制度规定，凡贬谪官吏奉诏之后，须立即起程，不得延误。白居易奉诏的第二天，便匆匆离开长安。那天早晨到昭国坊来送行的，只有李建一人，白居易深为感动：秋日正萧条，回望青门道，岂独恋乡土，所怆别李君，驱车出蓬荜。目极心郁郁。非关慕簪绂。平生同道术。
诗中的李君，就是李建，诗人作此诗一来表达对李建能来送他的感激之情，同时也流露出对京城的无限留恋之情。他回想起28年前，第一次来到长安，那时的情景还历历如在眼前。物换星移，29年多过去了，他在长安几进几出，直到现在他才真正品味出其间的滋味，事业还未成就，毁誉的流言已出；见解还未传闻于世，而诽谤的污言秽语早有人备好。宰相被刺，满朝震惊，不知所措，自己挺身而出，禀明真相，追查凶手，不但无功，反而获罪。他对前途充满了渺茫无望之情。
一出长安，白居易便沿着蓝田路行进。心情的沉重，加上旅途的劳累，79里的蓝田路走下来，诗人已经是“人烦马蹄累”，旅途的劳累更引发起诗人的乡国之思与身世之感。下面的二首就是诗人为描述他当时的心绪而作的：《初贬官过望秦岭》草草辞家忧后事，迟迟去国问前途。望秦岭上回头立，无限秋风吹自须。《途中感秋》节物行摇落，年颜坐变衰；树初黄叶日，人欲白头时。乡国程程远，亲明处处辞；唯残病与老，一步不相离。
诗人已进不惑之年，在这秋风萧落的情景之中，凄怆之情，油然而生。
到达商州后，白居易在商州驿馆住了三天，等候家人的到来，然后继续进发。走到武关南三四里处，见到元稹题山石榴花诗。武关，离商州189里，位于商山叠峰重嶂之间，地势十分险要，商山有“七盘十二纡”之险，峰回路陡。白居易面对这雄伟的山势，幽美的景色，留连不忍离去。此时他才懂得四皓为什么要在这里隐居：“向无如此物，安足留四皓？”他走进了皓庙，瞻仰了精美的雕像，对这四位先贤肃然起敬。同时联想到自己，何以意如此坎坷，感到自己实在是碌碌无为：“卧逃秦乱起安刘，舒卷如云得自由。若有精灵应笑我，不成一事谪江州。”
途中，白居易碰到了一位安南进贡红鹦鹉的使者。他观赏了这个羽色绚丽而且能言的鸟，深深同情鹦鹉的遭遇，尽管它巧于辞令，却永远也脱离不了笼槛的生活。诗人由此联想到自己写了一首小诗，表达了自己的感受和渴望自由的心情：安南远进红鹦鹉，文章辨慧皆如此，色似桃花语似人。笼槛何年出得身？
八月初，白居易抵达襄阳。襄阳是个大都，与樊城隔江对峙。汉江从西南流向东北，沿江山峦起伏，形势雄峻。诗人在二十二三岁时，曾随父在这里生活了约两年时间，一切对他来说都十分熟悉。所以他说：“旧游都似梦，乍到忽如归。”他特意跑到住过的东郭宅去看一下，却物在人非了，“东郭蓬蒿宅，荒凉今属谁？故知多零落，闾井亦迁移。独有秋江水，烟波似旧时！”他不禁慨叹人事变幻大快了。
白居易在襄阳停留的几天，特别想念元稹，写过《寄微之三首》，感情真挚。例如第二首云：君游襄阳日，今君在通州，襄阳九里郭，我在长安住。我过襄阳去。楼雉连云树。顾此稍依依，苍茫蒹葭水，此去更相思，是君旧游处。中有浔阳路。江西少亲故。
在襄阳稍事休息以后，白居易便弃马登舟，顺汉水而下江陵。为了赶路，他昼夜兼程：“烟淡月潆潆，舟行夜色中。江铺满槽水，帆展半樯风。”然而天气却不遂人意：“江云暗悠悠，江风冷飕飕，夜雨滴船背，夜浪打船头。”当白居易在郢州停舟登陆时，听说洛阳发生了变乱。主要还是李师道为了策应吴元济发动的。当时吴元济的兵临近洛阳东郊，留守吕元膺把防御兵调至伊阙屯扎。李师道利用留守院潜伏叛军数十百人，预定要纵兵抢掠，焚烧宫阙，以动摇人心。因有人告发，留守吕元膺处置果断，未酿成事故。白居易《登郢州白雪楼》诗云：白雪楼中一望乡，朝来渡口逢京使，青山簇簇水茫茫。说道烟尘近洛阳。
他所说的“烟尘近洛阳”即指这次变乱而言。郢州的白雪楼，得名已久。楼在钟祥县城西，建于绝壁之上，下临汉江。因此势高拔，宜于远眺，过路之人，无不登临一望。
路经鄂州，因友人设宴，白居易第一次登上了黄鹤楼。宴罢，共同凭栏远望。龟山、鹦鹉州、头陀寺尽收眼底，引发思绪茫茫。一时快慰，岂能排除难忘之忧：“总是平生未行处，醉来堪赏醒堪愁。”
白居易的船离开鄂州，便在长江里航行了。江面宽阔，水势平稳。无风时，浏览两岸景色，也颇为惬意；有风时，船不得行走，靠岸避之，白居易只得到岸上走走，以打发烦闷：
虎蹋青泥稠似印，风吹白浪大于山。
且愁江郡何时到，敢望京都几岁还？
白居易还未到江州，就想到回长安去，说明诗人未甘心退出政治舞台。在船上，他写的《放言五首》组诗最能反映当时他的思想活动。
初冬时节，白居易经过长途跋涉，终于到达浔阳（古县名，治所在今九江市）城外。白居易作过翰林学士、天子的近臣，而且诗名满天下，自然非一般司马可比。再者，这种贬谪往往是临时性的，随时都可能入朝再居高位。地方上的刺史、县令对这种贬谪官，大都不愿或不敢要求过多，有时反而给予一定的礼遇。白居易到达江州的时候，江州刺史便率领府内人员出郭相迎来了，对崔使君的礼遇，诗人深为感动：
浔阳欲到思无穷，庾亮楼南湓江东。树木凋疏山雨后，菰蒋矮马行无力，遥见朱轮未出郭，人家低湿水烟中。芦获编房卧有风。相迎劳动使君公。
唐元和年间的江州，属江南西道，领浔阳、彭泽、都昌三县，州治设在浔阳。浔阳在长江南岸，是江西的一个港口，当时的商业颇为繁华。同时它也是一座古城，历史名胜很多。州司马的职务主要是协助刺史处理州务。但只掌握法令政策，不做具体工作，也不负具体责任，很是清闲。每天只是喝喝酒，下下棋，写写诗，余暇的时间逗侄儿阿龟玩耍。有时诗人还清扫一下庭院，栽种些花木，他种了许多山樱桃树：亦知官舍非吾宅，上佐近来多五考，且斫山樱满院栽。少应四度见花开。
元和十一年的春天，是白居易到江州后的第一个春天，可是诗人心情仍很落寂：雪消冰又释，满庭田地湿，官舍悄无事，不开庄老卷，景和风复暄。荠叶生墙根。日西斜掩风。欲与何人言。
这时期他读了一些道家的书籍，除了读道家的书以外，也看佛经，常常把两者参照起来，解释一些不能解释的问题。例如他说：了然此时心，无物可譬喻。本是无何乡，亦名不用处。行禅与坐忘，同归无异路。白注云，道书云，无何有之乡。禅经云，不用处。二者殊名而同归。
这说明此时道家和佛家的思想在指导他的生活。二月白居易往游二林寺，在山中住了15天。白居易尽管是“身闲易澹泊，官散无牵道”，但他还是很关心淮西的战事，念起“智士劳思谋，戎臣苦征役”。而感到内心不安。
在江州的日子，诗人还将自己过去所作的899多首诗歌，整理编集。
重回长安，力矫恶习
白居易听到宪宗突然驾崩的消息，异常悲愤，在《奉酬李相公见示绝句》下自注云：“时初闻国哀。”诗中有句云：
涕泪满襟君莫怪，
甘泉侍从最多时。
这一年的夏天，白居易在做了一年多的刺史以后，被朝廷召回长安，任命为尚书司门员外郎。不久又升任主客郎中知制诏。“知制诏”是替皇帝写“诏旨敕制”的官。据任命白居易的“制诏”来看，是因为新即位的穆宗李恒看中他的词赋之才，把他比为当世的司马相如。这次从忠州召来回京，也是要借重他的文学才能。
穆宗长庆元年（公元821年）三月，朝廷举行进士考试，由礼部侍郎钱徽主考。事前西川节度使段文昌保荐杨浑之，翰林学士李绅保荐周汉宾，钱徽均置之不理。揭晓后二人榜上无名，中选的是李宗闵的女婿苏巢、杨汝士的弟弟杨盈士等十四人。段文昌不服，于是向穆宗上疏此次考试，中选的都是公卿子弟，其中必有舞弊情由，应重新考试。穆宗向李德裕、元稹、李绅等征询意见，他们三人因和李宗闵有私怨，因此一致赞同重考。穆宗于是亲自出题，令白居易和中书舍人王起主持复试，结果苏巢、杨盈士等落选，钱徽因此被贬为江州刺史，杨汝士被贬为开江令，李宗闵被贬为剑州刺史。白居易在上穆宗的《论重考进士事宜状》里认为，复试时视考生如囚犯，因此苏巢等下第，“情有可原”，宜从轻发落。然而穆宗固执己见。这件事发生以后，李德裕与李宗闵的仇隙愈来愈深了。于是各树朋党，彼此倾轧，互有进退，垂四十年之久，这就是历史上有名的“两李党争”。
党争的实质，则是新旧官僚之争。旧官僚大都出身于士族，他们重门阀，讲礼法，治学以经学为主，一般是借荫封而走入仕宦之途。新官僚多出身于寒门，他们以辞赋登科，生活放荡、不拘礼法。在政治主张上也大不相同。旧官僚主张高压政策，新官僚则主张因地制宜。白居易不赞成党争，自己也有意回避，但因他为翰林学士时，曾为李宗闵、牛僧孺、皇浦浞等人辩护，故李德裕始终视之为政敌。