刘伯温在朱元璋打天下的过程中确实立了大功，不过，大明建国之后，刘伯温的政治理想并没有得以实现，朱元璋想让刘伯温做丞相，但是刘伯温为了避嫌以性格的原因拒绝了，但他同时也惹恼了一个人，即胡惟庸。
当朱元璋问让胡惟庸做丞相如何的时候，刘伯温说了这样一句话："譬之驾，惧其偾辕也。"意思很简单，就是说胡惟庸不适合做丞相，本来刘伯温和重臣李善长就不和，这一下子又得罪了胡惟庸，后来刘伯温的死就和胡惟庸有关系。
1371年，刘伯温告老还乡，而不久之后，胡惟庸就在李善长的推荐下做了右丞相，刘伯温被胡惟庸拿住了错处而被下了俸禄，刘伯温进京之后不敢离京，只能滞留在南京城中，1375年，刘伯温大病一场，朱元璋终于亲自制文赐刘伯温归乡并遣使护送刘伯温归乡。
