羯族存世的时间很短暂，只有数十余年，但是他们的演变历史却很漫长。早在公元前3000年前后，生活于今伏尔加河及顿河流域的古印欧人游牧部落，分成四路纵队，分别向西、西南、南、东南四个方向迁徙。其中自称"雅利安人"的东路纵队的一部分人来到西域一带，分别建立了月氏、楼兰、龟兹等三个王国。
月氏强盛之时，在气势上可碾压匈奴，所以匈奴头曼单于才将儿子冒顿送入月氏充当人质。不过这一局面很快随着冒顿继承单于之位而改变。公元前177年，冒顿单于派右贤王联合乌孙国将月氏击溃。公元前174年，冒顿之子老上单于再次进攻月氏，最终月氏国王被杀，大部分月氏人被迫西迁，史称"大月氏"。而一部分老弱病残不堪颠沛之苦向南退守到昆仑山一带，同当地羌人杂居，被称为"小月氏"。羯族人的先祖就是小月氏人。
公元前121年，汉朝同匈奴激战于河西走廊，是为河西之战。结果，匈奴人被汉将霍去病赶出湟中，小月氏人从大山中走出，并归顺汉朝。汉武帝允许他们在张掖一带同汉人杂居。最初他们被称为"义从胡"，东汉之后又改称"羯族"。东汉灭亡，晋朝建立，羯族人与匈奴、氏等其他民族依然服从中原王朝的统治。但是晋朝建立不久便爆发了"八王之乱"，持久的皇室混战使晋王朝极速衰落，再加上匈奴、氐、羯等少数民族饱受晋朝廷盘剥榨久矣，于是纷纷趁势发动叛乱。
