然而，很多大臣依然拒绝参加大典，世宗无所发泄，几次对杨慎等一百多名朝臣施行“廷杖”，先后有18人丧命杖下。杨慎两次被打得死去活来，但他仍不屈服。于是，世宗一次罢免了180余名大臣，杨慎首当其冲，被流放到边远荒僻的云南永昌，并规定“永远充军”。
杨廷和当政时，曾趁武宗驾崩，世宗即位之机，改革了一些弊端，其中很重要的一点就是裁撤了3万多冒滥军功的锦衣卫将校，罢免了14多万冗官。这虽然有利于国家，可那些被裁撤的人对杨廷和恨之入骨。如今，杨家失势，他们便联合起来要对杨慎实施报复。
杨慎在发配的途中，那些人派人暗中跟踪，企图在途中置杨慎于死地，幸亏杨慎找早有察觉，一路小心戒备，这才逃过了一劫。辗转颠簸数千里，到了永昌时杨慎一身伤病，奄奄一息。
本是国之重器，一代文才，却因报国无门被终生埋没在烟瘴之地，一直到死杨慎也没能获得赦免。而且世宗也恨透了扬慎，时不时就会问及身边的大臣杨慎的情况，他们都说杨慎年老多病，已经快不行了，世宗这才放下心来。最终，杨慎死于戍所，死后尸体运回老家被草草掩埋。
