地方官员对灭蝗之举仍有反对意见，汴州刺史倪若水进言道：“只有修德才能消除天灾，前赵刘聪除蝗不成反而招致更大的危害。”他拒绝御史的指挥，不肯灭蝗，姚崇写信责备道：“刘聪篡逆之君，德不胜妖，陛下圣明之主，妖不胜德。古时州有良守，蝗虫不敢入境，如果说修德可以免除蝗灾，发生蝗灾就是无德造成的么？”倪若水不敢抗拒，只得配合捕杀蝗虫。在姚崇的坚持下，蝗灾的危害被减小到最低限度，虽然连年蝗灾，也没造成大面积的饥荒。
姚崇在京城没有住宅，寓居在罔极寺中，因疟疾卧床不起，唐玄宗每日派遣使者数十人，前去探病，每遇军国重事，都命黄门监源乾曜去征求他的意见。后来，唐玄宗采纳源乾曜的建议，命姚崇搬入四方馆居住，并准许他的家属侍疾，姚崇认为四方馆存有官署文书，不是病人居住之地，极力推辞。唐玄宗道：“设置四方馆本就是为官员服务，朕安排您住进来，是为国家考虑。如果可能，朕恨不得让您住进宫里，您不要推辞！”
姚崇虽是一代贤相，但却教子无方，其子姚彝、姚异广交宾客，招权纳贿，遭到舆论的非议。中书主书赵诲接受胡人贿赂，因事情败露，被唐玄宗定为死罪，姚崇也极力营救。唐玄宗对此非常不悦，在赦免京城罪囚时，特意在敕文中注明，将赵诲流放岭南。姚崇为此忧惧不安，数次请辞相位，并推荐广州都督宋璟继任宰相，不久，姚崇被罢去宰相之职，改任开府仪同三司。
唐玄宗虽将姚崇罢相，但对他仍极为尊崇，让他五日上朝一次，遇到重大政事也专门征询他的意见，封姚崇为太子少保，但他却因病没有接受。姚崇病逝，终年七十二岁，追赠扬州大都督，谥号文献，又追赠姚崇为太子太保。
喜欢史事讲将2隋唐五代请大家收藏：(m.692211.net)史事讲将2隋唐五代69书屋更新速度全网最快。