后来，果然被人给坑苦了。杨恽因与太仆戴长乐失和，被戴长乐检举："以主上为戏（拿皇帝开玩笑），语近悖逆"。一个大臣，竟然敢拿皇帝开玩笑，汉宣帝的脾气再好，也不淡定了，于是下旨将杨恽下狱，释放后被免为庶人。
从王侯将相被贬为普通老百姓，这样的人生落差，难免让人心生不满的，发发牢骚是情理之中的事，但是，由于他为人太过耿直，加之毒舌，常揭人短处，因此得罪了许多小人，就为他的不幸福结局埋下了伏笔。杨恽之死的起因，就是因为一封私信。
削职为民后的杨恽，在官场上混不下去了，干脆大肆享受人生，盖房子、置地，天天宴聚，寻欢作乐，标准一汉代嬉皮士作派。杨恽如此作贱自己，引起了他的老朋友、安定郡太守孙会宗的关注，他写信劝杨恽要低调，要闭门思过，不要太过张扬。对于孙会宗的劝戒，杨恽地不以为然，给孙会宗写了回信，这就是与他外祖父司马迁的《报任安书》同样桀骜不驯的《报孙会宗书》。
