无策，只得紧闭城门，任由蒙古军队在城外劫掠。严嵩为了保住自己的地位，竟然向嘉靖帝建议“坚壁清野，不与交战”，导致蒙古军队在京城附近劫掠数日，满载而归。此次事件被称为“庚戌之变”，暴露了明朝边防的虚弱，也让嘉靖帝对严嵩开始心生嫌隙。
随着年龄的增长，严嵩的精力日渐衰退，对朝政的掌控力也大不如前。而严世蕃不仅大肆收受贿赂，还时常干预朝政，甚至敢对嘉靖帝的决策指手画脚。嘉靖四十一年（1562年），御史邹应龙因长期不满严嵩父子的专权，遂上疏弹劾严世蕃，列举了严世蕃贪赃枉法、生活糜烂、干预朝政等罪状。此时的嘉靖帝对严氏父子早已有所不满，再加上内阁次辅徐阶的暗中推动，遂下令将严世蕃逮捕入狱，随后又将严嵩罢官，令其回乡养老。
严嵩罢官后，徐阶成为内阁首辅，他深知严世蕃不死，严嵩仍有复出的可能，于是暗中搜集严世蕃的罪证。不久后，徐阶发现严世蕃勾结倭寇，意图谋反。徐阶立即将此事上报嘉靖帝。最终，严世蕃以“通倭谋反”的罪名被判处死刑，于嘉靖四十四年（1565年）被斩首于西市。
严世蕃死后，严嵩被削籍为民，家产也被查抄。此时的严嵩已八十七岁，失去了所有的权势和财富，只能寄居在老家的墓舍中，靠邻里的接济度日。嘉靖四十五年（1566年），严嵩在孤独与贫困中病逝，被一位老仆人草草埋葬在自家的祖坟旁。