据《明实录》记载，在一份弹劾胡宗宪的上疏中，除了攻击胡宗宪跟倭寇首领汪直是同乡外，还出现了这样的话：宗宪乃自立报功庙于吴山，意欲既满，纵饮长夜，坐视江西、福建之寇不发一矢，徒日取驿递官民军前粮饷，而斩艾之朘削之，督府积银如山，聚奸如猬。
这就总督银山的来历。虽有多位同僚替胡宗宪辩解，总的意思就是说，剿灭倭寇不是说句话漂亮话就能做成的。胡宗宪搞钱不是为了自己，几乎全用于军士们的抗倭，"军中所恃有鼓舞人心者财尔。其中用间行饵，贾勇赏谋"。
可惜即便如此，由于严嵩倒台，哪怕嘉靖帝裁定胡宗宪无罪，"照旧督抚地方"也毫无效果。因为《世宗实录》是徐阶修撰！
因此才说，胡宗宪是走入了"死局"之中--不是"严嵩党羽"，他就没有办法主持全局抗击倭寇，并最终剿灭之。可正是因他是"严嵩党羽"，在严嵩倒台后，哪怕有再大的功劳，再多的苦衷和无奈，也要遭到穷追猛打，除之而后快。
