而到了元朝，东北这一带设置了辽阳行省，一直到明朝建立。
但是，当时有一个问题，明朝建立的时候，东北地区还残留了大量的蒙古势力，这是明朝所决不允许的，明太祖朱元璋多次北伐，洪武二十年（1307年），明军迫使元朝太尉、开元王纳哈出（当时此人事实上已成为控制辽东的军阀，拥兵20万，实力强大）投降，明朝势力渗透入东北。明太祖北伐后，黑龙江，乌苏里江流域先前依附元朝的部落首领多归降明朝，并请求参照元朝征东元帅府（又称征东招讨司，元朝控制这里的军事机构，隶属辽阳行省）旧制进行册封。
明朝初期武功强盛，对蒙古进行了大规模北伐
明朝自然是乐见其成，但明王朝对东北地区也不是很熟悉，明成祖时期，蒙古在东北的势力基本被清除出去，永乐七年（1409年），明成祖在女真人生活的地方，也就是中国东北设立奴儿干都司，这是继辽东都司后明朝在东北设立的另一个机构，永乐九年（1411年）正式开始行政管辖权。
