至嘉靖四十一年（公元1562年），胡宗宪主持的抗倭斗争取得了前所未有的胜利，渐次平息浙江的倭患，并开始剿灭福建的倭寇。
嘉靖四十一年五月，内阁首辅严嵩被罢官，其子严世蕃被逮。胡宗宪是由严嵩义子赵文华的举荐而屡屡升迁的，很多大臣的眼里，他属于严党。赵文华已死，严嵩失宠，胡宗宪的处境也就岌岌可危。这年年底，在新任内阁首辅徐阶的授意下，南京给事中陆凤仪就以贪污军饷、滥征赋税、党庇严嵩等十大罪名上疏弹劾胡宗宪。王世贞曾说："我知道胡宗宪的功劳，可他被徐阶所压制，不能表白他的冤屈。"看来，这一切，都是新任内阁首辅徐阶直接操纵的，胡宗宪自然无力与其抗衡。
很快，世宗就下令将胡宗宪的一切职务悉数罢免，并将其逮捕押解进京。此时，胡宗宪已经站在了悬崖的边缘。陆凤仪弹劾他时所列举的罪名，任何一条都能定他个死罪。胡宗宪到京之后，世宗念其抗倭的功劳，改变了主意，降旨道："宗宪不是严嵩一党，自任职御史后都是朕升用他，已经八九年了。而且当初因捕获王直而封赏他，现在如果加罪，今后谁为我做事呢？让他回籍闲住就好了。"掌握生杀大权的皇帝为胡宗宪网开一面，再次给了他一条生路。
但是，胡宗宪的仕途终于到此为止了。嘉靖四十二年（公元1563年）春天，胡宗宪带着不甘，回到了绩溪县的龙川故里。
胡宗宪本打算从此不问政事，在故里安享晚年。但是"树欲静而风不止"，胡宗宪的政敌们却不想罢手，他们在等待机会。
