从那之后，朱元璋就把李文忠带在身边，悉心教导，而李文忠也没有让朱元璋失望，迅速成长为一名能征善战的武将。西平陈友谅，东征张士诚，北伐蒙元，立下赫赫战功，明朝建立之后，他与徐达、常遇春等人一起成为开国六公爵，被封为曹国公。
到了洪武中期，朱元璋对外甥更加重用，在胡惟庸案发生前一年，他刚刚让李文忠主管大都督府都督兼国子监，前者是全国最高的军事机构，后者则是最高学府。
对于舅舅的重用，李文忠受宠若惊，工作更加尽心尽力。当胡惟庸案发生之后，李文忠见百官沉默不语，就决心冒死上书，劝陛下改正时下弊政，不再滥杀无辜。在前两次上书中，他劝明太祖放弃征讨日本和重用宦官，结果奏折送上去之后，如泥牛入海，一直没有得到朱元璋的回复。
李文忠见朱元璋非但没有停止诛杀功臣，反而有愈演愈烈的势头，于是决定上第三道奏疏。在这道奏疏中，他严词更加激烈、直接，不仅指出了朱元璋的错误，还公开表示皇帝是在滥杀无辜。第二天早朝，朱元璋看见奏章后，大怒，当堂训斥李文忠说："混账小儿，休要胡言乱语，我杀叛臣贼子，不用你管。"
