此时白居易诗名天下皆知，江州刺史对他非常照顾，所以白居易虽官为司马，但实际上是非常闲的。他常一人独上庐山，那里有著名的东林寺。白居易在山上建立了一个小小的别墅。幽谷花树间，白居易访僧问道，流连忘返，“面上灭除忧喜色，胸中消尽是非心”。但实际上，诗人仍意气难平，在与妻兄《与杨虞卿书》中，他这样写道：“（武元衡被刺后）皆曰：丞郎、给舍、谏官、御史尚未论请，而赞善大夫反忧国之甚也？仆闻此语，退而思之：赞善大夫诚贱冗耳！”
转年秋天的一个傍晚，白居易于江边送客，萧瑟秋风抚过，诗人感到一丝人生的寒冷。然后他就看到那传来凄美琵琶声的小船，《长恨歌》之外的另一首杰作《琵琶行》由此诞生。在这里，不想去说诗歌本身的艺术价值，而只想靠近诗人那一夜的心境。对他来说，那一夜即一生。而那一夜的心境，又可以用《琵琶行》中的两句说清：“同是天涯沦落人，相逢何必曾相识。”在这个夜晚，他这样的士人，与一个流浪的琵琶女，有什么不同？诗人另一种人生的大幕，似乎已经在江州悄悄拉开一角。
贬官前，白居易刚直激切，勇于言事，深得东汉士风；贬官后，趋向于独善其身，“世事从今口不言”。后来的白居易，在长安与外地的仕途间辗转，最终在东都洛阳做了闲官，跟裴度、刘禹锡诗酒相酬，野游夜宴，一心一意地实践着自己的“中隐”哲学。大隐隐于长安的朝廷，小隐于这个国家的山野，中隐则指的是做京城之外的闲官。
文宗开成二年（公元837年）的三月初三，在洛阳，白居易、裴度、刘禹锡等十五位名士，模仿东晋的兰亭雅会，举行了一个盛大的春宴。“河南尹李待价将禊于洛滨，前一日启留守裴令公（裴度）。公明日召太子少傅白居易，太子宾客萧籍、李仍叔、刘禹锡，中书舍人郑居等十五人合宴于舟中。自晨及暮，前水嬉而后妓乐，左笔砚而右壶觞，望之若仙，观者如堵……”
盛唐造就了李白，“安史之乱”成全了杜甫。但从士人心灵史的角度看，给后世影响最大的唐朝士人是白居易。他既是“中隐”概念的最初阐释者和实践者，又是儒、佛、道三教合一的先驱。他按自己的意愿和方式度过了后半生。
但白居易仍有自己的底线，坚持着自己的人生意志。在中晚唐绵延四十年的“牛李党争”中，白居易没有投入哪一方阵营，哪怕他是“牛党”主力杨虞卿的妹夫，哪怕他常与牛僧孺唱和，哪怕他最亲密的朋友元稹站在了“李党”一边，哪怕始终厌恶他的李德裕把他的诗篇扔掉。当两党成员为扳倒对方而纷纷亲近专权的宦官时，白居易依旧不为所动地坚持着自己独立的人格。《新唐书》对他的最终评价是“完节自高”，这非常准确。
唐武宗会昌二年（公元842年），白居易七十岁，以刑部尚书致仕，正式退休。白居易退休那一年，挚友刘禹锡离开了这个世界，密友元稹多年前就不在了。前几年，同居洛阳的老上级裴度也去世了。看不上自己的李德裕还在，唐武宗即位后深得信赖，回长安做了宰相。在他的铁腕治理下，不敢说回到盛唐时代，但跟宪宗时的“元和中兴”有些相似了。白居易在失落中有些欣慰，那些都是他曾经的梦啊。
朋友们一个个地离开这纷繁险恶的人间，是什么支撑白居易继续走下去？“栖心释梵，浪迹老庄”。
始于儒，中于道，终于释。
晚年的白居易，经常流连在洛阳的群山中。
看一下唐人康骈笔下晚年的白居易：“白尚书为少傅，分务洛师，情兴高逸，每有云泉胜境，靡不追游。常以诗酒为娱。因著《醉吟先生传》以叙。卢尚书简辞有别墅，近枕伊水，亭榭清峻。方冬，与群从子侄同游，倚栏眺玩嵩洛。俄而霰雪微下，情兴益高，因话廉察金陵，常记江南烟水，每见居人以叶舟浮泛，就食菰米鲈鱼。近来思之，如在心目。良久，忽见二人衣蓑笠，循岸而来，牵引水乡篷艇，船头覆青幕，中有白衣人，与衲僧偶坐。船后有小灶，安桐甑而炊，卯角仆烹鱼煮茗。溯流过于槛前，闻舟中吟啸方甚。卢抚掌惊叹，莫知谁氏。使人从而问之，乃曰：‘白傅与僧佛光，同自建春门往香山精舍。’其后每遇亲友，无不话之，以为高逸之情，莫能及矣。”
说的是，工部尚书卢简辞，在洛阳伊水边有别墅，此年冬天落雪之际，与家人登亭远眺，忽见清寒的水上，有小舟一艘，上有一人着白衣，与高僧闲坐，神姿高逸，或烹鱼煮茗，或吟诗长啸，舟过卢家别墅时，简辞叫人打问是谁，回禀道：是白居易先生，正往香山寺去。