晋惠帝永兴元年（公元304年）是一个长期分裂时代的开始，刘渊在这一年宣布独立，建国号为"汉"，历史上称为"汉赵"或"前赵"，特意追尊刘备的儿子刘禅为孝怀皇帝，建立汉高祖及以下几代皇帝的牌位进行祭祀，以示自己是汉朝的延续。刘渊派大将王弥与石勒率领兵马在各地流窜骚扰，与晋朝军队纠缠，引得遍地烽烟。同时华北又发生蝗灾，草木和牛马的毛都被蝗虫吃得干干净净，到处都是饥荒。
晋朝的第三任皇帝晋怀帝在首都洛阳过着饥寒交迫的日子，四处求援，竟没有一个地方将领前来。此后一百多年当中，匈奴、鲜卑、氐、羌、羯等五种胡人在淮河以北分别建立了许多割据势力，历史上称为"五胡十六国"，也叫"五胡乱华"。一般认为，羯族是起源于月氏诸胡，即是小月氏，曾经附属于匈奴，所以也有人认为是匈奴的一部分。
