等韩遂回到凉州，一场由当地少数民族发动的大规模叛乱爆发，韩遂与另一凉州名士边章被裹挟加入了叛军。一年之后，韩遂取得了这支叛军的领导地位，并提出诛灭宦官的政治主张，得到了凉州不少地方势力及官吏的广泛支持，力量日渐壮大，成了西北地区最大的割据势力。
韩遂的叛乱，引起朝廷的恐慌，先后派出皇甫嵩、董卓、孙坚等悍将前去镇压，但依然无法将其消灭。董卓专权时期，为了对抗中原诸侯，对韩遂采取了拉拢的政策，后来的李傕、郭汜对韩遂亦是无可奈何，只能对其割据现状听之任之。
韩遂为祸西北，对立志统一全国的曹操也带来了极大的影响。无论是官渡之战还是赤壁之战，曹操都对韩遂这个割据势力的存在非常担心。知道赤壁之战后，曹操才下定决定剿灭韩遂，并因此爆发了关中之战，最终将韩遂主力歼灭。最终在曹魏名将夏侯渊的连番打击下，韩遂于献帝建安二十年（公元215年）被杀，汉末西北地区最大的一股割据势力从此退出了历史舞台。
