1360年，被朱元璋请到南京，做了谋臣，首先，刘伯温针对时势，提出避免两线作战，逐个击破的建议，朱元璋采纳了，最终成功击败了陈友谅、张士诚等势力。后又提出脱离小明王自立势力，并以"大明"为国号招揽义师。为朱称帝赢得了政治、军事上的基础。
1367年，朱元璋任命刘伯温为太史。1368年，朱元璋称帝，授其为御史中丞兼太史令，后又上奏，请求设立军卫法，整肃纲纪。1370年，朱元璋大封功臣，刘伯温被封为诚意伯。
以刘伯温的功绩来看，确应有更高的封赏，但首先，明朝有"凡爵非社稷军功不得封"。其次，朱元璋曾在称帝后多次想要给刘伯温进爵，但都被刘伯温推辞了。所以最后才有了这么一个大名鼎鼎的伯爵之首刘伯温。
