最初夏言是得到嘉靖皇帝的宠爱的，那是因为年轻的嘉靖皇帝还比较上进。后来嘉靖皇帝成了皇帝中的老油条，那就没有夏言什么事儿了。
夏言是什么都想管着嘉靖皇帝，甚至连朝臣上表祝贺的事情，夏言也要表示推迟。这下子嘉靖的怒火彻底爆发了，这是夏言失宠的开端。嘉靖心想，当年三朝元老杨廷和都不是自己的对手，你一个小小的夏言，哪来的自信，看我不玩坏你!
嘉靖皇帝去巡视大峪山，夏言却来迟到了，本是一件小事，却使得嘉靖皇帝特别恼火。结果嘉靖皇帝痛骂了夏言一顿，并且要要回当年赐给夏言的银章和敕令。结果夏言一再恳求不要收回这些东西，他想留给子孙们作为传家宝。估计是被夏言弄丢了，嘉靖皇帝在怒火中命令夏言滚蛋回家养老，别在内阁混了。
无奈之下的夏言只好交出了这些东西，回家养老。可是过了没几天，嘉靖皇帝又让夏言回来进入内阁做事了。夏言的内心从谷底一下子又飞上了天空，立刻上表表示以后会好好做人，消除众人的怨气。而且表示以后自己会跟同事们处理好关系，好好为皇帝办事。
