胡惟庸向来自觉奋进、勇于任事，但同时，他也是个骄纵跋扈、恃权独行的人，随着权力不断扩大，他不仅擅自决定上下官员的生杀升降，而且凡内外奏章都要预览，对己不利者，辄匿不上报。胡惟庸广植党羽，上门馈送金帛重礼攀附者不可胜数，而对于有嫌隙的徐达、刘伯温，他就想方设法欲置其于死地。
胡惟庸的这种行事风格也给自己埋下了杀身之祸，他大权独揽，独断专行，引起了同样权力欲极强的朱元璋的不满。洪武十三年正月，涂节和中书省吏上书告胡惟庸谋反，朱元璋遂以"谋不轨"罪诛宰相胡惟庸九族，同时杀御史大夫陈宁、中丞涂节等数人。洪武二十三年（1390年），朱元璋颁布《昭示奸党录》，以伙同胡惟庸谋不轨罪，处死韩国公李善长、列侯陆仲亨、已故的滕国公顾时的子孙等开国功臣。
胡惟庸案历时十年，前后诛杀3万余人，波及之广、震动之大，史之罕见。但这些还不是最关键的，胡惟庸案对历史影响最大之处乃是朱元璋借此罢左右丞相，废除中书省，权分六部，另设内阁。而内阁大学士乃至内阁首辅的权力完全不能与丞相相提并论，也就是说，自秦汉以来实行一千多年的宰相制度就此废除，胡惟庸成了中国历史上最后一位手握大权的宰相。从此君权越来越大，臣权越来越小，明清时期皇权达到顶峰，而士大夫阶层则日渐卑微，乃至成了下人、奴才，这与唐宋时期有着极大的差别。
