太子当然也不肯示弱，继续和他下棋，皇太子走错了一步，刘贤占到先机，即将取胜。太子不肯认输，想悔棋，刘贤不依，于是他们两个争论起来。而围观的人群中，刘贤的师傅帮着刘贤说话，你一言，我一语，围观的人都在说太子耍赖。太子毕竟是一人之下，万人之上，从没有受过这样的委屈，顿时怒从心起，顺手提起啦棋盘，向刘贤砸过去，刘贤当时没有防备，被棋盘砸中头部，立即倒在地上，脑浆迸流，当场就死啦。
众人见事情闹大了，连忙把太子保护起来，奏明文帝。文帝也是非常的吃惊，也没怪罪太子，把太子训斥一番，好言劝慰刘贤的师傅等人。
而吴王刘濞听闻后悲恨交加，对文帝心存怨恨，对朝廷的使臣倨傲无礼。文帝知道他是爱子心切，也没有和他生气，随后派人召他入京，想当面把事情跟他解释清楚。刘濞竟然假称有病，不愿来。文帝知道此事后十分不满，将刘濞的使者扣押起来，吴王刘濞才有所收敛。
吴王之所以没有马上造反还有一个原因，那就是前中郎将袁盎对他极力劝阻。文帝因为厌恶袁盎，把他调到陇西任都尉，后来他又投靠到了刘濞的手下。见吴王势力强大，常常劝他小心行事，因此吴王才没有和文帝翻脸。
几年之后，单于病死，其子军臣继位，派人到朝廷报告。文帝又找了一个宗室的公主嫁给军臣，再次与他和亲。军臣单于得了娇妻后，心满意足，并无他想。偏偏中行说从中挑拨，屡次劝军臣侵犯中原。军臣起初并不愿违背约定，而他他再三怂恿，最终受不住诱惑再次兴兵作乱。
文帝六年冬月，匈奴两路出兵，一路攻打郡，一路攻打云中，沿途烧杀掳掠，无恶不作。因为在边防的将士几年没有打过仗，听到匈奴袭来，慌忙点燃烽火，向朝廷报警。文帝急忙调遣三路人马，三路兵同日出发，连夜赶往目的地，文帝怕惊动京都要地，又令河内太守周亚夫驻兵细柳，刘礼驻兵霸上，徐厉驻兵棘门。在内外戒严后，文帝这才放心。
