行家一出手，就知有没有，刘伯温连口茶都没喝，就拉着朱元璋分析当前形势，给出十八条对策，对于朱元璋来说，每一条对策都是无价之宝。从此之后，刘伯温的作用越来越明显，在朱元璋心里的地位，也无人可取代，屡次献出计策，立下汗马功劳，赢得"前朝军师诸葛亮，后朝军师刘伯温"之美誉。
公元1367年，身为吴王的朱元璋，任命刘伯温为太史令，掌管天文历法，恰逢天气大旱，刘伯温便说道："肯定有冤情，只要罪己诏，并释放囚犯，不滥杀无辜，就能被上天宽恕，大雨不请自来。"朱元璋二话不说，下令释放即将被斩首的犯人，几天过后，果然天降大雨。
朱元璋称帝，对功臣进行赏赐，免不了加官进爵，刘伯温升任御史中丞，主持编纂《大明律》。他嫉恶如仇，但原则性很强，对事不对人，丞相李善长的心腹李彬贪赃枉法，刘伯温依照律法，把李彬抓起来。李善长亲自找到刘伯温，让他给个面子，对李彬宽大处理，刘伯温没答应，直接把李彬处死，从而得罪了李善长。
此事过后，李善长经常找刘伯温的麻烦，但当朱元璋责罚李善长的时候，刘伯温都会为他说情，朱元璋非常纳闷，便问道："李善长屡次陷害你，你为何还要为他请求？"刘伯温笑了笑，并没有回答。李善长被罢官，朱元璋叫来刘伯温，对他说："吾行相君矣。"也就是说，让刘伯温当丞相。
丞相位高权重，乃百官之首，多少人梦寐以求的职位。然而，刘伯温拒绝了，理由是年迈多病，而且能力不配当丞相。很多人不理解，为何刘伯温果断拒绝？难道丞相不香吗？其实，这正是他的高明之处。刘伯温跟随朱元璋多年，太了解他的想法，谁当丞相都没有好下场，还是不要趟这趟浑水，所以才经得住诱惑，拒绝担任丞相。
果然不出刘伯温所料，不管是李善长，还是后来的杨宪、汪广洋、胡惟庸，所有当过明朝丞相的人，结局都比较惨。洪武四年，刘伯温急流勇退，请辞回乡，过着与世无争的生活，四年后病逝，明武宗在位时期，追赠刘伯温为太师，谥号"文成"。
