杨升庵得罪了嘉靖皇帝，被发配云南充军。他穿着赭（zhě赭衣：古代罪人穿的赤褐色的衣服，借指罪人）色的囚衣，戴上沉重的枷锁，历时半年，抱病走了一万多里路，到达永昌卫（沽酒客注：云南保山旧称永昌，都司卫所制度是明朝重要的军事管理体系）的戍所后，病势沉重，卧床不起。
戍所的营官同情杨升庵的遭遇，请来医生为他诊治，并让他在环境清幽的云峰山养病。病好之后，营官见他是个文弱书生，没有叫去干舞枪使棒的苦差事，只是任随他在戍所内做点写写算算的轻巧活。
在永昌，杨升庵虽然是朝廷罪犯，行动还是很自由的。他喜爱云南壮丽的山川，所到之处，吟诗作赋，题联书碑，留下了许多珍贵的墨迹，文人学士、地方官绅向他求字的更不计其数。可是，杨升庵有个怪脾气，他从不和贪官豪绅打交道，而喜欢与穷苦百姓做朋友。
