杨恽的《报孙会宗书》中，有对皇帝的怨恨，有对孙会宗的挖苦，为自己狂放不羁的行为辩解。他先是在信中夸耀自己的显赫世家，然后是废为平民后的生活，最后，他狂傲地说，古代有个叫段干木的不肯做官，要效仿他。他的侄子读到这封信后，也劝他说："您过去有功于朝廷，现在只要低个头认个错，皇帝会重新起用你的。"杨恽却勃大怒："胡说！这种皇帝，我还为他卖命做甚！"
不久，出现了日食，这在古代是种恶兆。这时，就有人适时前来告密说，日食警告的是杨恽，因为他犯事被贬后，不但未有悔过之心，而骄奢淫欲，惹怒了上苍。并且，他还写过一篇文章（即指《报孙会宗书》），怨恨之言良多。
汉宣帝闻报后，立即叫人拿来那篇文章读，读到"夫人情所不能止者，圣人弗禁，故君父至尊亲，送其终也，有时而既。臣之得罪已三年矣。田家作苦，岁时伏腊，斗酒自劳……是日也，拂衣而喜，奋袖低昂，顿足起舞，诚淫荒度。不知其不可也"时，一下子又惹怒了宣帝，当即下令逮捕杨恽。
