原来，董仲舒这个人有点"神神道道"，他喜欢谈论一些"神秘莫测"的事情。当时刘邦陵寝中的地面建筑发生大火，董仲舒到处讲这个事情，并赋予鬼神因果之说。汉武帝十分讨厌他的这种行为，就让人调查董仲舒是不是居心叵测。调查的结果是，董仲舒写过一本书叫《灾异之记》。这本书中有大量针对当今天子的言论。这一下惹怒了汉武帝，将其入狱问罪。
董仲舒的劫难还历尽，当时有个叫公孙弘的大臣，他是西汉历史上第一位又是丞相又被封侯的高官。公孙弘也是儒家学说的倡导者，但是他和董仲舒关系不睦。董仲舒出狱后，多次受到了公孙弘的排挤打压。最后，董仲舒只能回到家乡以讲学为生。由于他的名气太大了，朝中经常有人询问董仲舒关于时事的看法。
