赵文华当年赴浙江祭海时，曾与总督张经有过节，因此他怀恨在心，不顾当时抗倭大局，也不顾张经立下的赫赫战功，上疏对张经构罪陷害。胡宗宪在这件事中扮演了不光彩的角色。
身为巡按御史的胡宗宪竟然追随赵文华也上疏弹劾张经，这种助纣为虐的做法，反映了他在道德上的缺失。胡宗宪踏着这些忠臣的尸骨，从此青云直上，步步高升。
其次，胡宗宪侵吞军饷、生活奢靡，这是不争的事实。胡宗宪通过在浙江加派额外赋税聚敛了大量的钱财，有"总督银山"之称。其中有一些花费在招抚抗倭上，但大多数还是供自己挥霍。
据说，有一次胡宗宪宴请杭州织造太监和李子元等人，居然用了两百名侍女陪饮，到了晚上，这名太监拿出五两金子表示感谢，胡宗宪冷笑一声，不予理睬。李子元仅拿了一两金子，被胡宗宪当场扔到了水里，还笑着说："你这是在侮辱我吧！"。
