然而就在他的功勋声望达到顶峰时，那就因罪入狱。至于犯了什么罪，朱元璋却并没有说。而胡美也不知为何死于狱中。这件事情过去了8年，李善长案事发。朱元璋在列举本朝历代奸党分子时，特地提到了胡美，这时候才知道胡美被赐死的原因。
原来胡美的女儿是贵妃，而胡美曾经与他的另一位女婿一起进宫探望女儿。至于胡美和他的女婿与女儿见面，是唠家常还是意图谋反，并不知道。但是对朱元璋而言，后宫乃宫廷禁地，不论胡美是以什么理由进入，都要受到处罚。所以胡美与他的女婿就被判定为奸党分子，关入狱中。
在牢狱里，潘美的女婿经不住毒打，提前去世了，而之后不久胡美也被赐死。胡家的惨案并没有完结。我们也知道，朱元璋去世后，他的妻子后宫们都要拉去殉葬，这董贵妃当然也不例外了。
所以朱元璋赐死这个岳父的原因，首先就是胡美自己犯了禁忌，私入后宫"扰乱宫禁"。其次就是朱元璋有着很深的猜忌、多疑之心。胡美本是降将，又是他的老丈人，所以他朱元璋当然担心他会对自己不利。而私入后宫正好是一个好罪状，就将胡美赐死了。
身为胡家最后血脉的，胡美的外孙，胡贵妃与朱元璋生下的湘王朱柏，也在建文帝削藩之中，自焚而死。
