当时，陆贽主持政事，一向受到皇上的礼待和倚重，就常常在延英殿极言裴延龄的荒诞虚妄，指出不能让裴延龄掌管钱财赋税，德宗以为陆贽在排挤裴延龄，反而更加厚待裴。宰相陆贽一向厌恶裴延龄的奸佞，就上书条奏裴延龄的过失，即着名的《论裴延龄奸蠹书》，奏章呈上，德宗很不高兴，待裴延龄更加亲厚。当时，盐铁转运使张滂、京兆尹李充、司农卿李铦，因为事情相关，都作证裴延龄的伪诈虚妄。德宗就罢免了陆贽的相位，让他去当太子宾客，张滂、李充、李铦都被罢免或贬官。裴延龄因此而更加骄横，同时对这些大臣怀恨在心，企图伺机报复。
德宗多次在苑中打猎，当时天下旱灾已久，人情忧虑惶恐，裴延龄赶紧上疏说：“陆贽、李充等人失去权势，心里怀有怨气，现在专门向众人扬言道：‘天下大旱，百姓流亡，度支欠缺了很多各处军马的粮草。’想借此激怒群情。“后来过了几天，德宗又去苑中，正逢神策军人上诉说度支拖欠厩马的草料。德宗想起裴延龄的进言，立刻回驾，下诏贬斥驱逐陆贽、李充、张滂、李铦等人，朝廷内外惴恐。裴延龄谋害朝廷中的正直之士，正逢谏议大夫阳城等人伏阁切谏，事情才暂时停下。陆贽、李充等人虽然已经被贬黜，裴延龄对他们的憎恨依旧未停，就暗中抓捕李充的心腹小吏张忠，百般拷打，让他作伪证说：“李充前后侵吞官钱五十多万贯，还有很多米麦，这些钱物都拿来勾结权势，李充的妻子经常在牛车里把金银珠宝赠送给陆贽的妻子。”
张忠没能扛住拷打，屈打成招，依照裴延龄的意思作了伪证。张忠的妻子和母亲在光顺门投书诉冤，诏令御史台推问，一夜就得到了实情，发现事情都是假的，就释放了张忠。裴延龄又奏称京兆府妄用钱谷，请求令比部考实，这是因为比部郎中崔元翰曾被陆贽黜免的缘故。等到崔元翰核对钱谷，又发现没有问题，加上刑部侍郎奚陟为陆贽、李充等人申辩，事情才作罢。
裴延龄锐意把苛刻、剥削下级媚附上级作为功劳，每次奏对，都极尽诡怪虚妄，别人不敢说的，裴延龄张口就来毫不疑虑，说的也是常人没听说过的。德宗多少知道裴延龄的荒诞虚伪，但因为他敢于说话没有隐藏，而且想要了解外事，所以决意任用裴延龄。裴延龄倚仗恩宠，认为自己一定能当上宰相，特别喜欢谩骂诋毁朝臣，百官为之侧目，等到卧病在床，张狂到直接把度支的钱物带回自家，也没人敢说一句话。
裴延龄去世，时年六十九岁，裴延龄死后，朝廷内外相贺，只有德宗哀悼叹惜不已，下诏追赠太子少保。有人上书指斥裴延龄分置库房之弊，有诏革除之，后有司为裴延龄起谥号为“缪”。
喜欢史事讲将2隋唐五代请大家收藏：(m.692211.net)史事讲将2隋唐五代69书屋更新速度全网最快。