事后，刘伯温知道马皇后在保他性命，于是就告老还乡归隐去了，其刚去不久，朱元璋就给功臣们乱按罪名纷纷处死以绝后患。刘伯温躲在乡下对此也略有耳闻，为了自己跟一家性命只能躲到无人知道的地方。时间一久，刘伯温还是回到了故乡青田，该县令遥闻他归来，就专程赶上门拜访。
这里有一段记载："县令求见不得，微服为野人谒基，基方濯足，命儿引入屋舍，生火造饭令，令道："某青田知县也，基惊起称民，谢去，终不复见"，已经此时，刘伯温更是心生疑虑，生怕皇帝朱元璋会不放过自己，因此郁郁不欢，久而患病之。
最终刘伯温在乡下重病不起，自知时日无多，就唤来儿子，叮嘱当他死后，就准备一筐鱼送给京城的圣上，接着还掏出一本玄学奇书，吩咐一起交给朱元璋，但绝不准儿子翻看阅读半句内容。1375年，刘伯温病死，其儿子按遗嘱送了一箩筐鱼给朱元璋，对方在悲伤之余，想了好久都没弄明白到底是什么意思，因此搁置一旁不再理会。
