辞官之后的刘伯温回到了家乡，因为元朝末期群雄并起，战争不断，刘伯温就在家乡组织民兵自保。
朱元璋的军队打到浙东之时，在朱元璋的盛情邀请下，决定出山，和他的好友宋濂，叶琛等人一起投奔朱元璋，朱元璋得到这批浙东名儒非常高兴，特地建造了礼贤馆来接待他们。
朱元璋为宋濂，叶琛等人都安排了官职，唯独没有给刘伯温一官半职，而是把刘伯温留在身边，让他做自己的军师。
刘伯温来到朱元璋身边之时，在朱元璋的东面有盘踞在苏州的张士诚，在西面则是陈友谅的陈汉政权，刘伯温分析当前形势，为朱元璋制定了避免两线作战，逐个击破的战略方针，刘伯温认为张士诚贪图享乐，性格保守，是个"自守虏"，而陈友谅则是一个野性极大之人，对朱元璋的威胁最大。
