先前，明太祖因事要责罚丞相李善长，刘伯温劝说道："他是有功劳的旧臣，能调和诸将。"明太祖说："他多次想害你，你还为他说话啊？我想任你为丞相。"刘基叩首说道："按照法家韩非子的说法，这就如同更换梁柱会产生动乱，必须用粗壮结实的大木，如用细木，房屋就会立即倒坍。"
后来，李善长辞官归居，明太祖想任命杨宪为丞相，杨宪平日待刘基很好，可刘基仍极力反对，说："杨宪具备当丞相的才能，却没有做丞相的气量。为相之人，须有像水一样平静的心态，以义理作为权衡事物的标准，而不能自己掺合在其中，杨宪做不到。"明太祖又问汪广洋如何，刘基回答："比起杨宪，他更是心地狭窄，见识浅薄。"明太祖接着问胡惟庸，刘基又回答道："拿驾车来比方，我担心他会将马车弄翻。"明太祖于是说道："我的丞相，确实只有先生你最合适了。"刘基谢绝说："我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负陛下的恩典。天下何患无才，只要陛下留心访求。目前这几个人确实不适合担任丞相之职。"
洪武三年（1370年），明太祖授刘基为弘文馆学士，十一月，太祖大封功臣时，刘基不求名利，不以功臣自居，一再谦让，所以他的官爵比其他功臣低，授开国翊运守正文臣、资善大夫、上护军，封诚意伯，食禄240石（如果是丞相，年禄有数千石）。第二年，刘基60岁时受赐还归家乡。
归隐山中仍遭暗算
明太祖曾经手书问刘伯温天象，他都逐条详细回答，然后把草稿全烧掉。大略是说：霜雪之后，必有阳春，现在国威已立，应该稍微用宽大的政策来治理天下。刘基辅佐太祖安定天下，料事如神。他性情刚直，嫉恶如仇，与物质社会人事多不相合。他还乡后归隐山中，唯棋酒诗文自娱，从来不讲自己的功劳。有个小插曲，青田县令求见，被刘基拒绝，于是便穿着便服，装成乡野之人去见刘基。刘基当时正在洗脚，便让堂侄把他引入茅舍，以黄米饭招待。县令这时才告诉刘基："我是青田知县。"刘基大惊，起身称自己只是一介平民，然后谢罪离去，终不相见。
