李世民继位，裴寂的食邑被加至一千五百户。唐太宗到南郊祭祀，命裴寂与长孙无忌同乘御辇，裴寂推辞，唐太宗道：“您有佐命之勋，无忌也效力于我，能够和我同乘一车的，除了你们二人还有谁呢？”于是同车而回。
僧人法雅因妖言获罪，裴寂也受到牵连，唐太宗免去裴寂的官职，削去他一半的食邑，让他返回故里。裴寂请求留居长安，唐太宗斥责道：“你的功劳、才学，都不足以拥有如今的地位，只是由于太上皇对你的恩宠，才位居第一。武德年间，政法方面纰漏谬误极多，地方官吏施政紊乱，你对此也应担负责任！我念及旧情，不对你施以极刑，让你回归故里，你还有什么不满意的？”裴寂只得返回蒲州。
当时，狂人信行客居汾阴，常对裴寂的家僮道：“裴公有天分。”信行死后，家奴恭命将此事告诉裴寂，裴寂大惊，不敢奏明皇帝，暗中命恭命将知情的家僮杀死，恭命却背着裴寂，将家僮放走。后来，恭命因贪赃被裴寂追捕，遂向朝廷告发裴寂。唐太宗大怒，对侍臣道：“裴寂犯了四条死罪：第一，官居三公却结交妖人；第二，事发之后，愤称国家之兴是其所谋；第三，妖人称其有天分，却匿而不奏；第四，杀人灭口。”最终将他流放静州。
后来，静州山羌作乱，有传言认为乱军已劫持裴寂为主，唐太宗对此丝毫不信，道：“国家对裴寂有性命之恩，裴寂定不会如此。”不久，果有裴寂率家僮破贼的奏报传来，他思及裴寂佐命之功，便召其回朝，但这时裴寂却已病逝，终年六十岁，后被追赠为相州刺史、工部尚书、魏国公。
喜欢史事讲将2隋唐五代请大家收藏：(m.692211.net)史事讲将2隋唐五代69书屋更新速度全网最快。