刘伯温在青田过了二年的隐居生活，本来希望远离世间是非争夺。但是，他的智慧和才能实在太高，他的名声实在太大了，他甚至被民间百姓渲染成了一位活神仙般的人物，这就无法避免政敌的嫉妒，皇帝的猜疑。洪武六年(公元1373年)，刘伯温的政敌胡惟庸，当了左丞相，指使别人诬告刘伯温，说他想霸占一块名叫"茗洋"的"有王气"的土地做自己的坟墓，图谋不轨。早就对刘伯温放心不下的明太祖，听到诬告后，果然剥夺了刘伯温的封禄。刘伯温非常惶恐，亲自上南京向明太祖谢罪，并留在南京不敢回来。
洪武八年(公元1375年)，有病在身的刘伯温，由朱元璋所派使者护送回家，不久，在家忧愤而死，享年六十五岁。在明初的官场中，以刘伯温为代表的浙东派，在与淮西派首领李善长的争斗中，曾一度占上风，但最终刘伯温却被李善长的心腹、奸臣胡惟庸所害。
刘伯温在南京时，胡惟庸曾派太医为刘伯温诊病送药，但刘伯温吃了他的药后，病情加剧。因此，当时人们怀疑刘伯温是胡惟庸下毒致死。在刘伯温死后一百三十九年，即明武宗正德九年（公元1514年），被追赠太师，谥号文成，因而后人又称他刘文成。
刘伯温不但是一位谋略大师，也是一位著名的学者和文人，他的著作很多，流传于世的有《郁离子》十卷和《诚意伯文集》二十卷。其中，代表作《郁离子》一书，在中国思想上和文学史上都占有重要地位。
刘伯温死后，葬于青田武阳夏山。据说，刘伯温死前曾预言胡惟庸必败，到时明太祖会为自己平反昭雪，他还特留下一封密奏给儿子，要他在日后明太祖想起自己的时候再上奏。五年后，胡惟庸果然垮台。又十年后，刘伯温果然被平反。明太祖还赐给刘氏家族金书铁券，特批刘氏成员可凭此免一次死罪。
