朱元璋获得巢湖水师后李善长极力赞成渡江，攻克采石后朱元璋率军直取太平。李善长事先写下榜文，严禁士兵违反军纪。太平城被攻下李善长马上将榜文贴在四通八达的道路上。所以军中秩序井然，秋毫无犯。
朱元璋为太平兴国翼大元帅时以李善长为帅府都事。不久他们攻克了集庆路。在将要攻取镇江时朱元璋担心诸将约束不了部下便假装发怒，要惩罚他们。经李善长力救此事才得以解决。镇江攻下之后百姓都不知道有兵到来。朱元璋为江南行中书省平章，以李善长为参议。军机进退、赏罚章程多由李善长决定。朱元璋改枢密院为大都督府，让李善长兼领府司马，后晋升为行省参知政事。
朱元璋称吴王时任命李善长为右相国。李善长通晓典故，裁决事务非常迅速，又善于辞令。朱元璋招贤纳士时总让李善长起草文告。朱元璋率军征讨时都让李善长留守。李善长为前线将士准备粮饷，从不缺乏。李善长在再三斟酌元制、去其弊端之后提出专卖两淮之盐，设立茶法。并恢复制钱法，开矿冶铁，制定鱼税。使国家财富日益增长，百姓不再贫困。
洪武元年九月朱元璋封李善长为宣国公，并任命李善长为左丞相。朱元璋当初渡江时经常使用重典。有一天他对李善长说：法有连坐三条，不是太过分了吗？李善长请求废除大逆之罪外的全部连坐之罪。朱元璋让他与御史中丞刘基等裁定律令，颁示朝中内外。
