但这些投降的蒙古人和朵颜三卫没有关系，他们早就成了明军的军户，不少人甚至早就爬上了高位。朵颜三卫其实并不是纯正的蒙古人（其实明朝的蒙古人很多都和元朝时期的蒙古人关系不大），朵颜三卫本来以台州等处怯连口（蒙古人的奴隶）居多，兀良哈千户所等蒙古人数量并不多，这些人原本就是元朝辽王的奴才。
1388年，辽王阿扎失里带着他们投降了明军，因此才有了朵颜三卫的封号，阿扎失里就是第一任泰宁卫指挥，此时三卫以泰宁卫为首。阿扎失里投降明朝只是因为北元内部纷争，当北元新可汗扔出了橄榄枝后，朵颜三卫又在阿扎失里的带领下反叛了明朝。1391年，傅友德、郭英等人带兵击败了阿扎失里，朵颜三卫和明朝的联系中断。傅友德等人归朱棣的对头晋王朱棡（gang)管辖，因此即使有部分朵颜三卫投降明军，也是归晋王朱棡（他在北方的职权在朱棣之上，1398年去世）处置。
