再遭排挤

裴度刚被册封为司徒，徐州便奏报：节度副使王智兴从河北行营率军返回徐州，驱逐了节度使崔群，自称留后。朝廷惊骇恐惧，当即命裴度任司徒、同平章事，仍主持朝政；并委派王播接替裴度镇守淮南。[34]

裴度与李逢吉一向不和，裴度从太原入朝奏事，那些忌恨裴度的大臣认为李逢吉善于搞阴谋诡计，足以设计构陷裴度，于是从襄阳召李逢吉入朝，任兵部尚书。裴度再次主政后，魏弘简、刘承偕的党羽仍在宫中。李逢吉采用同宗兄弟之子李仲言的计谋，通过医士郑注与中尉王守澄勾结，使宫内官员都帮助李逢吉。五月，左神策军奏报：告发人李赏声称和王府司马于方受元稹指使，勾结刺客要行刺裴度。穆宗命左仆射韩皋、给事中郑覃与李逢吉三人审理此案，案未审毕，就将元稹贬为同州刺史，裴度贬为左仆射，李逢吉接替裴度为相。从此，李逢吉党羽李仲言、张又新、李续等，勾结宦官，煽动朝臣建立朋党来阻挠裴度，当时号称“八关十六子”，“八”、“十六”，都是所勾结相关人员数字。而裴度的丑恶名声，传闻日甚一日。长庆三年（公元823年）八月癸卯日，穆宗就将裴度调出朝廷任司空、山南西道节度使，不带“平章事”之衔[35] 。[36]