后来，严嵩慢慢的进入了嘉靖的视野，他为了讨好嘉靖什么事都干，严嵩看到夏言深受皇帝信任，心里很不舒服，想尽办法破坏这种信任关系。夏言于1539年5月离开了首辅的位置，没过几天，新任首辅大臣就死了，于是，夏言又于当月重回首辅的位置，这个时候的严嵩还不足以取代夏言。嘉靖在中后期已经开始懈怠政事，失去了进取之心。开始追求长生不老，信奉道教。因为这个，差点死在了宫女手里。
夏言在这期间也多次起伏，从1539年第二次重回首辅之位后，又于1541年离开了首辅位置，两个月后又回到了首辅位置。第四次登上首辅之位那是在1545年的时候，由于夏言多年担任首辅，有些气势凌人，把下属当奴才。严嵩觉得有机可趁，就挑拨夏言与皇帝之间的关系。而夏言写的青词多次不和嘉靖的心意。于是1548年的时候，夏言又离开了首辅的位置，严嵩成为了首辅大臣。
1548年，夏言因为支持收复河套，再遭奸臣严嵩的诬陷，最终被嘉靖皇帝下旨，讲夏言于闹市斩首，时年67岁。成为了明朝历史上第一被斩首于闹市的首辅。夏言的一生与嘉靖这个奇葩的皇帝有着诸多缘分，可惜也因为碰到这个奇葩的皇帝，最终惨死闹市。
