李德裕在扬州为官，李宗闵在湖州为官，两人针锋相对。李宗闵被调往东都洛阳出任新官，李德裕感到不安，修书向李宗闵示好。但后者不接受，在去洛阳的路上，特意绕过必经之地扬州，而不跟李德裕见面。但没多久，李德裕任命为宰相，过洛阳，李宗闵同样感到不安，给李德裕写信，表示想见一面。李德裕的回答是这样的：“我们之间，倒也没什么太大的怨恨。不过呢，见面同样也没更充足的理由。”
按另一种传说，李德裕和李宗闵之所以水火不容，跟李宗闵忌惮李德裕的铁腕与能力有关。李宗闵做宰相时，李德裕正担任兵部尚书。有一天，京兆尹杜悰去拜访李宗闵，看到李愁眉不展。
杜悰：“想啥呢？这么专心！”
李宗闵：“你猜。”
杜悰：“又在想李德裕了吧。”
李宗闵：“我和他的关系越来越不融洽了，实际上就从没有融洽过。”
杜悰：“我有个主意，但你肯定不会采用。那就是，推荐他做御史大夫。”
御史大夫被唐人看重，相当于副宰相。
李宗闵思忖良久，最后答应了。于是，杜悰跑到李德裕那里，把李宗闵打算推荐他做御史大夫的事讲明，李德裕喜不自禁。但后来，牛党要员杨虞卿知道了这件事，断然否决了这个提议。李德裕得知后大怒，从此“二李”老死不相往来。
李德裕跟牛僧孺的关系同样形同水火。
当时，出现了一篇叫《周秦行纪》的志怪，以牛僧孺第一人称自述的口吻，讲述其在德宗贞元年间进士落榜后返回故里途中夜入汉文帝母薄太后庙的离奇遭遇：“余真元中，举进士落第，归宛叶间。至伊阙南道鸣皋山下，将宿大安民舍。会暮，失道不至。更十余里，行一道甚易，夜月始出，忽闻有异气如贵香，因趋进行，不知厌远。见火明，意庄家，更前驱，至一宅，门庭若富家……”
在庙里，作为死鬼的薄太后又叫来了一批死鬼作陪，其中包括“狭腰长面，多发不妆，衣青衣”的戚夫人、“柔肌稳身，貌舒态逸，光彩射远近，多服花绣”的王昭君、“纤腰修眸，仪容甚丽，衣黄衣，冠玉冠”的杨贵妃、“短发丽服，貌甚美，而且多媚”的绿珠等人，甚至还有当朝皇帝的妃子。
宴饮中，薄太后问：“今天子是谁？”
牛僧孺答：“今皇帝为先帝长子（德宗）。”
杨贵妃大笑：“沈婆儿做天子也？大奇！”（德宗的母亲沈后即传说中的江南女子沈珍珠，“安史之乱”中失踪。）
酒酣之后，薄太后问：“牛秀才远道而来，今晚谁人陪寝？”
戚夫人率先起身，说：“家里孩子还小，我可不行。”
绿珠也婉拒。
薄太后看了看杨贵妃，表示贵妃为先帝妃子，陪睡也不合适。最后，盯住王昭君，说：“昭君始嫁呼韩单于，复为株累弟单于妇，固自用，且苦寒地胡鬼何能为？”大意是，你王昭君远嫁塞北匈奴，又嫁给两任单于，身份相对寒微，就没推脱的理由了。
王昭君羞愧不已。
就这样，王昭君陪牛僧孺睡了一宿。
据说，这篇志怪是李德裕的一位叫韦瓘的门生写的，用以打击政敌牛僧孺。
有人曾拿着这篇志怪告牛僧孺的状，文宗皇帝看后大笑，说：“牛僧孺安敢称先皇后为沈婆？此定是他人冒名所作，嫁祸于人。”
文宗皇帝还是很明白事理的。
不管这篇志怪是不是出于李德裕的门生，或者说是不是李德裕授意而作，都说明当时牛李两党争斗之激烈。除朋党难，原因之一是满朝重臣，不是牛党就是李党；之二是两党背后都有专权宦官的支持。
虽然李德裕的形象更为正面（较之于牛党成员，在反对藩镇割据、强硬对待回鹘以及反控宦官方面更有力），但实际上他跟宦官也保持着密切来往。当时，有宦官到地方监军的惯例。李德裕跟这些监军宦官保持着良好的关系，因为那些宦官期满回京后，即可直接向皇帝推荐李德裕。唐武宗时，李德裕被召回长安做宰相，基本上用的就是这个手段。
武宗时代，李德裕备受恩宠，做了六年宰相，把牛党成员全部扫出朝廷，李宗闵最后死在湖南贬所，牛僧孺也被赶到遥远的地方。
李德裕为相的岁月，施政风格刚健有力，满朝清明肃然。但同时，由于出身世家高门，他的贵族做派又非常突出，以奢华为例，按《独异志》记载：“武宗朝宰相李德裕奢侈极，每食一杯羹，费钱约三万，杂宝贝、珠玉、雄黄、朱砂煎汁为之，至三煎，即弃其滓于沟中。”也就是说，李德裕每喝一杯羹，价值三万钱，而且羹汤是用当时稀有的珠玉、雄黄、朱砂等煎熬，熬到第三次后，这些珍贵的药材就扔到地沟里。可以设想，连李德裕家的地沟也充满了宝物。