刘伯温万万没想到，此番谈话给自己埋下了祸根。胡惟庸虽然有一定才干，但骨子里却是个沉迷功名利禄、心胸狭隘、睚眦必报的小人。刘伯温的话让他恨之入骨，从此就把刘伯温视若仇敌，必欲除之而后快。从此刘伯温的后半生再无宁日，遭受到胡惟庸一次又一次打击报复，直至遭到杀身之祸。
《明史》记载，刘伯温告老还乡后，曾经建议朝廷，在瓯括之间设立巡检衙门，清剿当地盗匪。胡惟庸得知后计上心来，立即向朱元璋进谗言，说刘伯温是想独占那块有王气的地盘，有图谋不轨之心。朱元璋将信将疑，下旨剥夺了刘伯温的俸禄。刘伯温一片忠心却反遭到疑忌，吓得急忙跑到京师向皇帝谢罪，"乃留京不敢归"，连老家都不敢回。
洪武八年，刘伯温身染重病，朱元璋就派胡惟庸带领御医来给他看病。吃了他们送来的药物后，刘伯温感觉肚子里有了像石头一样坚硬的积滞，病情越发沉重，不久后病死。胡惟庸后来倒了台，御史中丞揭发说，胡惟庸在给刘伯温的药物中下了毒，毒死了刘伯温。
刘伯温死后，凶狠的胡惟庸依旧不依不饶。刘基的长子刘链才学出众，品性贤良，深受朱元璋器重，步入仕途后升迁很快。胡惟庸看在眼里恨在心上。《明史》记载，胡惟庸利用职权之便，千方百计打击陷害刘链，刘链走投无路，竟然投井身亡。
一代人杰刘伯温，身负绝世奇才，能在战场上奇谋妙计安天下，却在激烈的仕途倾轧中败下阵来，惨遭小人暗算而家破人亡，实在令后人叹惋。
