到了武则天时期，契丹族就开始和唐朝战争。696年，居住在营州的契丹族遇到了饥荒，营州都督府拒绝施救。于是契丹族首领李尽忠（名义上的松漠都督府都督，该名是唐朝赐名，原名没有记载）就起兵反唐，契丹族的攻势十分强劲，一度打到了河北赵县，在东硖石谷一战中击败了唐朝17万军队。之后，东突厥乘机进攻契丹，契丹被迫臣服于东突厥。在契丹反唐期间，唐朝辽东和内地的联系几乎中断，唐朝在辽东的统治也已经力不从心。
契丹之后，就是粟末靺鞨的兴起。靺鞨是东北地区的土著民族之一，汉朝称为肃慎，宋朝称为女真。而粟末靺鞨生活在松花江流域，在辽国时期称为"熟女真"，明朝称为"建州女真"。粟末靺鞨和高句丽接壤，经常入寇高句丽。隋唐时期，粟末靺鞨臣服于高句丽。高句丽灭亡后，唐朝强迫粟末靺鞨迁徙到辽西一带，以加强控制。
696年，契丹反唐，粟末族的首领乞乞仲象和乞四比羽率领族人回迁辽东，武则天为了安抚他们，册封其为"许国公"和"震国公"。但是其册封遭到拒绝，于是武则天命令契丹降将李楷固等追击，乞四比羽被杀，而乞乞仲象在逃亡中病死。之后大祚荣代父而立成为了粟末首领，他带领部族继续回迁。697年，大祚荣在天门岭之战中击败了唐朝的追击军队。
