嘉靖41年（1562年），御史邹应龙指控严嵩父子的时候，实际上嘉靖也知道必须有人对天怒人怨的局面背锅了。但是他实际上仍然离不开这对父子。所以严嵩退休、严世蕃发配雷州。这就是嘉靖给到大众的交代，事情到此为止，这也就是嘉靖的底线。
但是很多人看不懂这层关系，都认为要痛打落水狗，严嵩严世蕃失势了，必须防止他们死灰复燃，必须整死。
嘉靖43年（1564年），巡江御史林润状告严世蕃和罗文龙网罗江洋大盗，私用违制车辆，诽谤朝廷，暗蓄兵士。
严世蕃实际上是"做生意"，但是破了一个嘉靖的底线，那就是严世蕃这些人是不可以接触刀兵的，所以严世蕃被抓起来受审。但是黄光升等人便开始给被严嵩严世蕃打倒的沈炼、杨继盛等人翻案，每条罪状，言之凿凿，证据充分。
