随着权势的不断增大，胡惟庸日益骄横跋扈，独揽丞相大权，生杀黜陟，为所欲为。内外诸司所上的奏章，胡惟庸必先取阅，对自己不利的，就隐匿不上报。他任意提拔、处罚官员，各地喜好钻营热衷仕进之徒、功臣武夫失意者，都奔走于他的门下，送给他的金帛、名马、玩好，不计其数。胡惟庸一时间权倾朝野，许多人都看他脸色行事，敢怒不敢言。
这种情况引起了朱元璋的猜疑，终于在洪武十三年发生了胡惟庸案。
据《明史》等官方史料记载，洪武六年，胡惟庸因其子出游时在街市上奔驰坠车而死便杀死了车夫。朱元璋知道此事后，盛怒之下命胡抵偿车夫之死。胡惟庸恐惧，加之早有异心，便与御史大夫陈宁、御史中丞涂节等人图谋反叛。
洪武十二年（1379年）九月，因不向皇帝报告占城（在今越南）使者来朝等事，朱元璋对胡惟庸、汪广洋等人严厉斥责。几番事件经调查之后，胡惟庸等人终至获罪下狱。十三年正月，御史中丞涂节、中书省吏商暠等向朱元璋告发胡惟庸密谋造反，于是胡惟庸、陈宁、涂节等被处死。
胡惟庸案的发生有其深刻的历史背景。吴晗先生在《胡惟庸党案考》一文中认为其属于统治集团内部争夺权力的矛盾胡惟庸党案的根本原因在于胡惟庸专擅行政大权的行为侵害了皇权的至高无上。朱元璋处死胡惟庸以及其后对开国诸臣的广泛株连都是其加强皇权的重要手段。
胡惟庸党案是明代政治史上不可忽视的重要事件。以此为契机，朱元璋诏罢中书省和丞相等官，秦汉以来行之千年的宰相制度就此被废除。皇帝直接统辖六部，严密控制行政权力，中国历史上的皇帝集权，在制度上达到前所未有的高度。这套制度也被后世统治者所仿效，成为其后数百年间中国政治制度史上最重要的一个层面。
