而在明朝初年,南方张士诚的残余势力还勾结日本海贼,以日本一些岛屿为基地,对中国沿海和朝鲜海域进行骚扰。朱元璋称帝后,最初实行海禁政策,规定"片板不许下海",严禁私人海外贸易。但后期为了摆脱倭寇对中国沿海的骚扰,他不得不数次遣使到日本,希望恢复两国的贸易关系。但因为当时日本还在战乱时期,所以几次出使都毫无结果。等到北朝足利幕府统一日本后,足利幕府第三代将军足利义满为了恢复与明朝的贸易,获取巨额利润,同时铲除南朝余孽,对盘踞在中国沿海和日本海域的倭寇也进行了积极剿捕。
明成祖朱棣时期,开放海禁,还曾派郑和数次下西洋。当时明朝与日本建立了"勘合贸易"关系,只要足利幕府拿着贸易凭证(即勘合)来中国进贡,中国便会与其进行贸易。足利义满死后,其子足利义持改变了政策,明朝与日本的勘合贸易中断。这一时期,中国沿海的倭寇又活跃起来。足利义教时期,重新与明朝恢复勘合贸易,倭寇再次遭到中日两国的打击。