最初，刘伯温希望为元朝政府效力，通过做官来实现自己的远大抱负。他在中进士后不久，被任命为江西高安县丞，后又任元帅府都事。但是他的建议往往得不到朝廷的采纳，他的才能反而受到朝廷的压制。刘伯温非常失望，先后3次愤然辞职，回故乡青田隐居。
他辅佐朱元璋完成帝业、开创明朝并尽力保持国家的安定，因而驰名天下，被后人比作诸葛武侯。朱元璋多次称刘基为："吾之子房也。"在文学史上，刘基与宋濂、高启并称"明初诗文三大家"。中国民间广泛流传着"三分天下诸葛亮，一统江山刘伯温；前朝军师诸葛亮，后朝军师刘伯温"的说法。他以神机妙算、运筹帷幄著称于世。
刘伯温死后，葬于青田武阳夏山。据说，刘伯温死前曾预言胡惟庸必败，到时明太祖会为自己平反昭雪，他还特留下一封密奏给儿子，要他在日后明太祖想起自己的时候再上奏。5年后，胡惟庸果然垮台。又10年后，刘伯温果然被平反。明太祖还赐给刘氏家族金书铁券，特批刘氏成员可凭此免一次死罪。
