羁縻卫所制度起源很早，宋朝时就已经出现，《资治通鉴》记载："大者为州，小者为县，再小者为峒……"巴酋长子弟，量才授仕，置之左右。"明朝时对羁縻卫所制度进行创新，它是明太祖、明成祖等人对于治理边疆的智慧结晶。羁縻卫所中所谓"羁"就是用军政加以控制，而"縻"则是指以经济和物质利益作为抚慰。羁縻卫所最著名的代表是奴儿干都指挥使司，它于永乐九年（1441年）正式设立在黑龙江一带，主要官员初为流官，后为世袭。兀良哈三卫也是羁縻卫所的重要代表，它比奴儿干都指挥使司成立要早，为1389年设置于纳哈出一带。
由于明朝时在东北大量设立羁縻卫所，因而明朝对于东北的统治也被称为"羁縻统治"。羁縻统治有利有弊。在明朝初期，明朝国力鼎盛，元朝负隅顽抗的势力相继被明太祖和明成祖镇压平定，许多蒙古人都依附于明朝，更不用说刚刚经过休养生息恢复元气的女真人。东北地区的女真人在明代时分为四大支系：建州女真、海西女真、东海女真以及黑龙江女真。黑龙江女真和东海女真距离明朝辽东较远，因此影响不大，因而建州女真与海西女真成为明朝治理东北的关键。
海西女真对明朝辽东地区常有侵扰，但由于辽东总兵李成梁的打击，海西女真逐渐式微，建州女真却趁机崛起。建州女真依附于明朝，向明朝进贡，接受明朝皇帝册封。永乐二年（1404年），明朝设立建州卫，封当地首领阿哈出为建州卫指挥使。后来，由于另一位首领猛哥帖木儿因跟随明成祖攻蒙有功，被封为建州左卫指挥使。在动乱当中，猛哥帖木儿被杀，其子董山也被俘获，建州左卫印丢失，猛哥帖木儿的弟弟凡察向朝廷上报，明朝皇帝于是再次授予凡察新的建州左卫印。可是不久之后，董山被赎出，原有的建州左卫印也重新找到，叔侄俩关于建州左卫的归属权产生争执。明英宗下令将建州左卫一分为二，再增设建州右卫，凡察与董山各掌一印。因此，建州卫一分为三，分别成为建州卫、建州左卫、建州右卫，史称"建州三卫"。
