第二年，康茂才被元朝任命为淮南省参知政事，驻守南京。朱元璋在李善长等人的劝说下，打算夺取南京，作为大本营。在集庆之战，康茂才第二次被朱元璋打败，并且被活捉。朱元璋当时正是用人之际，便对康茂才说：你投降吧，我既往不咎！（原文：降则无咎以往！）康茂才经过两年的观察，已经看出朱元璋富有雄才，便跪下对朱元璋说：
前日战，各为其主；今日屡败，天数也。事至于此，死生唯命。苟得生全，尚竭犬马之力，以图报效。
意思是：之前我和你对着干，那是各为其主。事已至此，也是天命，我以后跟你混。接下来，陈友谅杀掉老上司徐寿辉，自立为王，沿江而下，打算联合张士诚东西夹击朱元璋。当时陈友谅势力很大，朱元璋和他实力悬殊，众将士都非常惊慌。而刘伯温此时已经被朱元璋请到南京，刘伯温分析：陈友谅嚣张跋扈，张士诚胸无大志，眼下朱元璋不宜两面为敌，应该主动交好张士诚，然后集中精力对付陈友谅，这个建议被朱元璋采纳。
