马超的势力来自他的父亲马腾，马腾虽然是东汉开国功臣伏波将军马援之后，但在东汉末年原本没有担任官职，凉州发生叛乱时，马腾应征入伍加入政府军，之后因为立功做到了偏将军，凉州刺史被杀后，马腾联合韩遂、王国等人摇身一变，成为反对东汉的叛军，马腾等人引发的叛乱被称为三辅之乱，导致洛阳附近大量民众流离失所。
马腾手下的军队构成复杂，一部分是原来东汉的政府军，一部分是附近的氐人、羌人等少数民族，还包括招募而来的各族士兵，但马腾军队的性质是与东汉政府为敌的，相反，后来为害朝廷的董卓却是凉州正儿八经的政府军，与马腾是对立的。
但在东汉末年的乱世中，官匪勾结那是很正常的事，董卓在进京前曾经拉拢马腾、韩遂等人，但是等到马腾、韩遂进到长安时，董卓已经被杀，朝廷由李傕与郭汜控制，马腾被任命为镇西将军，镇守郿县。
不久，马腾、韩遂与李傕、郭汜发生矛盾，但被李傕、郭汜的军队击败，之后双方又讲和，当时的凉州、陇右及长安一带，几十支军阀的军队经常发生混战，互有胜负，马腾和韩遂算是其中最大的两支军阀武装。
