于是将他抓起来丢到大狱里去，经过定罪之后人们认为他应该受腐刑。司马迁没有出钱来抵罪，只好受了刑罚呆在监狱里。他认为这是一种非常耻辱的刑罚，所以就想要自杀，结束自己的一生。
但是转念一想却觉得自己不能死，因为他当时正在花费全部的精力写《史记》。他的祖上好几辈都是史官，他父亲和他都是太史令。从他小时候就跟随父亲到了长安，阅读了很多的书籍，知道很多的故事。
后来为了收集史料，他二十岁时就开始四处游历，他去过多个地方，进行很多的游览和考察，获得很多知识，又从民间得到很多有用的资料。后来，他当了武帝的侍从官之后，又跟随皇帝巡行各处。
有时还奉命到巴、蜀、还有昆明这些地方去视察。当了太史令之后更是得到机会阅读大量史料。在他入狱这个时期，本来生无可恋打算自杀。但是想起那些在狱中也能写出杰作的伟人们，他好像又有信心了。
他非常努力，于是，他决定把从传说中的黄帝那个时代开始的历史，一直写到汉武帝时期太始二年这段时期为止的历史。这本历史著作有五十多万字，对那些历史人物都有比较中肯的评价。这本书在我国历史上有很高的评价。
