朱元璋知道他是当地年高有德之人，并对他以礼相待，并将他留下掌管文史书籍。李善长跟随朱元璋攻占滁州，成为朱元璋的参谋，给朱元璋出谋划策，并参与重大事务的决策，主管军队的物资供应，很受朱元璋的信任。
朱元璋威名日益显著，诸将前来投靠的，李善长考察他们的才能，禀告给朱元璋。又替朱元璋对投诚者表达诚挚情意，使他们能够安心。有人因为某些事情相互意见不合，产生矛盾，李善长便想方设法从中调解。
在朱元璋早期的军事行动中，李善长算无遗策，朱元璋称吴王时，任命李善长为右相国。李善长通晓典故，裁决事务非常迅速，又善于辞令。朱元璋招贤纳士时，总是让李善长起草文告。
朱元璋前后率军征讨，都命李善长留守，将吏顺从，居民安然，为前线将士运输兵饷、粮饷，从不缺乏。李善长在再三斟酌元制、去其弊端之后提出专卖两淮之盐，设立茶法。恢复制钱法，开矿冶铁，制定鱼税，国家财富日益增长，百姓也不再贫困。
