李德裕又好收藏古董，最喜怪石奇木，“每好搜掇殊异，朝野归附者，多求宝玩献之”。他在洛阳郊野修建的别墅平泉庄“去洛城三十里，卉木台榭，若造仙府。有虚槛，前引泉水，萦回穿凿，像巴峡、洞庭、十二峰、九派迄于海门江山景物之状。竹间行径有平石，以手摩之，皆隐隐见云霞、龙凤、草树之形。有巨鱼肋骨一条，长二丈五尺，其上刻云：‘会昌六年海州送到。’……”
但是，武宗一死，李德裕的境遇马上发生了翻天覆地的变化。
唐宣宗以皇太叔的身份继位，由于深深厌恶前任武宗皇帝（宣宗为亲王时，韬光养晦，装傻充愣。作为侄子的武宗，每每侮辱他。又传，曾一度意图谋害他），把这种厌恶也转到李德裕身上。这只是原因之一。另外一个原因是，事必躬亲的宣宗无法容忍这样一个强势的宰相每天在自己眼前晃悠，代他处理政事。
李德裕太孤傲严肃了，太不怒自威了，这叫宣宗深深地忌惮。每次上朝，看到李德裕，宣宗往往“寒毛倒竖”。这样的君臣关系算是没法处了。宣宗继位没多久，李德裕就被打发到东都洛阳，虽然丢了宰相之位，却还不算被贬官。尽管如此，李德裕心里还是不踏实。他曾向一善于预测的僧人问吉凶之事，僧人指出李近期将有灾难，会被贬到更遥远的南方，且南行之期月内即见分晓。
李德裕郁闷，努力说服自己不要相信。
“不相信？那这样，我们做个实验。”僧人说着，一指地下，“此地下埋有一石盒。”
李德裕立即叫人挖掘，果得一石盒。李德裕大惊，问：“贬至南方既然不可免，那么我想问一句，还有回旋的余地吗？”
僧人道：“还有这个机会。”
僧人又道：“您这一生，应吃一万头羊。到现在为止，您已吃了九千五百头。也就是说，以后还有吃五百头羊的日子，官位未绝。”
李德裕长叹一声：“法师真乃神人！宪宗皇帝元和十三年，我在北都太原为张弘靖宰相的部下，曾梦见自己行于晋山，那里是一眼望不到头的羊群，有牧羊人告诉我，这满山之羊是我平生所吃之羊。这个奇异的梦被我隐藏数十年，一直未向他人说过，而现在看来，正中禅师之言！”
尽管很悲伤，但李德裕还是抱有一丝侥幸，因为如那僧人之言，自己还有吃五百头羊的机会，即使每天都吃羊肉，吃完这五百头羊，也需要十年。也就是说，自己还能显贵十年。以自己现在的年纪而言，十年足矣！
但计划赶不上变化。
没过几天，振武节度使米暨派人来到洛阳，为表达对李德裕的尊敬，专门一次性地送来五百头羊作为礼物。
李德裕望着庭院里的群羊，一时说不出话来。
相国李德裕为太子少保，分司东都。尝召一僧问己之休咎，僧曰：“非立可知，愿结坛设佛像。”僧居其中，凡三日。谓公曰：“公灾戾未已，当万里南去耳。”公大怒，叱之。明日，又召其僧问焉。“虑所见未子细，请更观之。”即又结坛三日，告公曰：“南行之期，不旬月矣，不可逃。”公益不乐，且曰：“然则吾师何以明其不妄耶！”僧曰：“愿陈目前事为验，庶表某之不诬也。”公曰：“果有说也？”即指其地曰：“此下有石函，请发之。”即命穷其下数尺，果得石函，启之，亦无睹焉，公异而稍信之，因问：“南去诚不免矣，然乃遂不还乎？”僧曰：“当还耳。”公讯其事，对曰：“相国平生当食万羊，今食九千五百矣，所以当还者，未尽五百羊耳。”公惨然而叹曰：“吾师果至人！且我元和十三年为张公从事，于北都，尝梦行于晋山，见山上尽目皆羊，有牧者十数迎拜我。我因问牧者，牧者曰：‘此侍御平生所食羊。’吾尝记此梦，不泄于人，今者果如师之说耶，乃知阴骘固不诬也。”后旬日，振武节度使米暨遣使致书于公，且馈五百羊。公大惊，召告其事，僧叹曰：“万羊将满，公其不还乎？”公曰：“吾不食之，亦可免耶！”曰：“羊至此，已为相国所有。”公戚然。旬日，贬潮州司马，连贬崖州司户，竟没于荒裔也。（《宣室志》）
李德裕将此事告诉那僧人，僧人摇头叹息：“一万头羊已够数了，看来您被贬之后，不能回还了。”
李德裕说：“我不吃这些羊还不行吗？”