回纥人属于北方少数民族铁勒诸部的一支。梁朝的时候，突厥汗国建立，回纥人受突厥汗国管理，也受尽了突厥人的欺负。
不久，突厥汗国分裂成了东西两部分。到了隋朝及唐朝初年的时候，回纥人逐渐强大起来。唐朝看到了回纥的强大，便联合回纥，打败东突厥，这可以称得上是唐朝和回纥人的第一次合作。
东突厥衰败以后，铁勒诸部的一支薛延陀人强盛起来，控制东突厥的不少地盘。当时，唐朝害怕北方民族形成一枝独大的局面，因此，又有意恢复东突厥。他们又和回纥人联合，灭掉了薛延陀政权。这是回纥人和唐朝的第二次合作。
灭掉薛延陀政权后，回纥首领吐迷度自称可汗，并接受唐朝的管理。
天宝三年，回纥首领骨力裴罗当可汗，建立回纥政权。这样，回纥基本上已经取代了东突厥。接着，回纥又与唐军联合，推翻了后突厥汗国（东突厥之后建立的一个汗国）。这是回纥人与唐朝的第三次合作。
