然而，刘伯温虽然智计过人，聪明绝顶，世上还是有人能够斗得过他，并且让他家破人亡，简直是他命中的灾星。《明史》记载，朱元璋曾和刘伯温有过一次谈话，商讨由谁来担任大明帝国的丞相。朱元璋接连说了杨宪、汪广洋、胡惟庸等几个人，都被刘伯温否决，认为他们都有各种各样的缺陷。
说到胡惟庸时，刘伯温的评价是8个字："譬之驾，惧其偾辕也"。意思是拿驾辕拉车作比方，胡惟庸要是来干，恐怕非翻车不可。刘伯温完全是出于公心直言不讳，根本没有故意排挤打击谁的意思，因为他的好友杨宪也被他无情否决。然而，朱元璋对他的一片忠心半信半疑，最后还是让胡惟庸当上了宰相。
刘伯温万万没想到，此番谈话给自己埋下了祸根。胡惟庸虽然有一定才干，但骨子里却是个沉迷功名利禄、心胸狭隘、睚眦必报的小人。刘伯温的话让他恨之入骨，从此就把刘伯温视若仇敌，必欲除之而后快。从此刘伯温的后半生再无宁日，遭受到胡惟庸一次又一次打击报复，直至送掉了性命。
