十三年冬，量移忠州刺史。自浔阳浮江上峡。十四年三月，元稹会居易于峡口，停舟夷陵三日。时季弟行简从行，三人于峡州西二十里黄牛峡口石洞中，置酒赋诗，恋恋不能诀。南宾郡当峡路之深险处也，花木多奇。居易在郡，为《木莲荔枝图》，寄朝中亲友，各记其状曰：“荔枝生巴、峡间，形圆如帷盖。叶如桂，冬青；华如橘，春荣；实如丹，夏熟。朵如蒲萄，核如枇杷，壳如红缯，膜如紫绡，瓤肉莹白如雪，浆液甘酸如醴酪。大略如此，其实过之。若离本枝，一日而色变，二日而香变，三日而味变，四五日外，色香味尽去矣。”“木莲大者高四五丈，巴民呼为黄心树，经冬不凋。身如青杨，有白文。叶如桂，厚大无脊。
花如莲，香色艳腻皆同，房独蕊有异。四月初始开，自开迨谢，仅二十日。元和十四年夏，命道士毋丘元志写之。惜其遐僻，因以三绝赋之。”有“天教抛掷在深山”之句，咸传于都下，好事者喧然模写。
其年冬，召还京师，拜司门员外郎。明年，转主客郎中、知制诰，加朝散大夫，始著绯。时元稹亦征还为尚书郎、知制诰，同在纶阁。长庆元年三月，受诏与中书舍人王起覆，试礼部侍郎钱徽下及第人郑朗等一十四人。十月，转中书舍人。十一月，穆宗亲试制举人，又与贾餗、陈岵为考策官。凡朝廷文字之职，无不首居其选，然多为排摈，不得用其才。
时天子荒纵不法，执政非其人，制御乖方，河朔复乱。居易累上疏论其事，天子不能用，乃求外任。七月，除杭州刺史。俄而元稹罢相，自冯翊转浙东观察使。交契素深，杭、越邻境，篇咏往来，不间旬浃。尝会于境上，数日而别。秩满，除太子左庶子，分司东都。宝历中，复出为苏州刺史。文宗即位，征拜秘书监，赐金紫。九月上诞节，召居易与僧惟澄、道土赵常盈对御讲论于麟德殿。居易论难锋起，辞辨泉注，上疑宿构，深嗟挹之。太和二年正月，转刑部侍郎，封晋阳县男，食邑三百户。三年，称病东归，求为分司官，寻除太子宾客。
居易初对策高第，擢入翰林，蒙英主特达顾遇，颇欲奋厉效报，苟致身于訏谟之地，则兼济生灵，蓄意未果，望风为当路者所挤，流徙江湖。四五年间，几沦蛮瘴。自是宦情衰落，无意于出处，唯以逍遥自得，吟咏情性为事。太和已后，李宗闵、李德裕朋党事起，是非排陷，朝升暮黜，天子亦无如之何。杨颖士、杨虞卿与宗闵善，居易妻，颖士从父妹也。居易愈不自安，惧以党人见斥，乃求致身散地，冀于远害。凡所居官，未尝终秩，率以病免，固求分务，识者多之。五年，除河南尹。七年，复授太子宾客分司。