后来，李善长辞官归隐，朱元璋又向刘基请教宰相的人选，其实他心中想任命杨宪做宰相。杨宪与刘基关系很好，可刘基仍然反对，说:"杨宪有做宰相的才能，却没有做宰相的气量。"朱元璋又问汪广洋怎么样，刘基说:"他还不如杨宪呢！"朱元璋又问胡惟庸如何，刘基说:"宰相就像是驾车的马，胡惟庸会把马车搞翻的！"朱元璋又提出让刘基做，刘基认为自己不合适，坚决不做。好嘛，事情传到了三人耳中，刘基一下得罪了三位大臣，而且他们都做到了宰相，虽然后来他们都因事获罪，证明了刘基说的是对的，但三位宰相的敌意也足够刘基受的。
1375年，刘基生病，朱元璋派胡惟庸带御医前去慰问。御医开了方子，刘基按照药方抓药，可服用后，肚子里像是有块大石头。大半个月后，刘基带病觐见朱元璋。谈话中，刘基婉转地向朱元璋表达了服用过胡惟庸所带御医开的药方，病情反而加重的疑虑。朱元璋仅表示让他好好休息，再没说什么，这让刘基相当心寒。三月下旬，刘基在儿子刘琏的陪伴下返回家乡。
回到青田后，刘基拒绝服用任何药物，只维持日常正常饮食。没几天，刘基感到大限将至，他叫来两个儿子，交代了一下后事，不久之后，便与世长辞了。刘基生前最高封号诚意伯，他去世一百多年后，老朱家才终于醒悟过来，认识到刘基为大明江山做出的巨大贡献。明武宗正德八年，追赠刘基为太师，谥号文成；明世宗嘉靖十年，朝廷决议刘基配享太庙。
