朱元璋欣赏之余,视李善长为左膀右臂,升其为参谋,参与决策制定。双方建立起了一种君对臣信任、臣对主忠心的关系模式。李善长投靠朱元璋后,积极出谋划策,尽忠职守,使军队内部诸将和睦,前方军需供应充足,这些为朱元璋取得前线作战的胜利提供了方便,对朱元璋开创大明王朝做出了不可磨灭的贡献。
洪武十三年(1380年),专断独行多年的宰相胡惟庸被杀,主要罪行是谋反和通倭。胡惟庸既是李善长的亲信,又与他有亲戚关系,朱元璋便想借此案来打压李善长。时隔十年之后,有一批要发配边疆的京城要犯,丁斌是其中之一,他不但与李善长拉亲,还曾经侍奉过胡惟庸,于是朱元璋借机逼丁斌交代李存义与胡惟庸交往的事实。 随后又逮捕李存义父子,并迫使他们揭发胡惟庸曾劝过李善长一同谋反。