嘉靖四十一年五月，内阁首辅严嵩被罢官，其子严世蕃被逮捕。胡宗宪是由严嵩义子赵文华的举荐而屡屡升迁的，在朝中很多大臣的眼里，他属于严党。
赵文华已死，严嵩失宠，胡宗宪的处境也就岌岌可危。这年年底，南京给事中陆凤仪就以贪污军饷、滥征赋税、党庇严嵩等十大罪名上疏弹劾胡宗宪。时人王世贞曾说："我知道绩溪（胡宗宪）的功劳，可他被华亭（徐阶）所压制，不能表白他的冤屈。"看来，这一切都是新任内阁首辅徐阶直接操纵的，胡宗宪自然无力与其抗争。
很快，嘉靖帝就下令将胡宗宪的一切职务悉数罢免，并将其逮捕入京。此时的胡宗宪已经站在了悬崖边上，任何一条罪名都能置他于死地。
胡宗宪到京以后，嘉靖念其抗倭的功劳，改变了主意，降旨道："宗宪不是严嵩一党，自任职御史后都是朕升用他，已经八九年了，现在如果加罪于他，今后谁为我做事呢？让他回籍闲住就好了。"
胡宗宪再次得到嘉靖的庇佑，给了他一条生路，但是仕途终于到此为止了。嘉靖四十二年春天，胡宗宪带着无尽的委屈和不甘心回到了老家。
