擅长"纸上谈兵"的蒋芾，在孝宗欲大举北伐时，以"天时人事未至"拒绝"出战"，"拂上意"。孝宗因此大怒，遂罢蒋芾。同样的还有叶衡，仅仅因汤邦彦听说其有"讪上语"，就被孝宗一贬再贬。
赵雄在孝宗朝独相近3年，可以说势力威望都大到了极点，由此也开始自以为是。慢慢地，赵雄竟然连孝宗的话也不放在眼里，"执法不一"常有。所以当"有言其私里党者"后，赵雄随即被罢相。
从这以上几种罢相原因，都可以看出孝宗在逐步强化皇权以及压制相权。除此之外，孝宗还以左右宰相正规化分散相权，以及提高参政议政的地位，以此来制约相权。接着，我们也可以看到孝宗对宰相要求之高，能力不足被罢相的大有人在。而且，孝宗不光要求其有能力，品行态度也要好。
不过，孝宗对于宰相还是颇为重视与尊重的。尽管孝宗总是罢相，但他也不曾怠慢宰相。孝宗不仅尊敬宰相，还予以爵位厚禄，
