凉州最早建制于西汉，是西汉十三州之一，治所在今天的甘肃武威。
西汉时期凉州的位置大体等同于今天的甘肃和宁夏，西汉元狩二年，为打通河西走廊，汉武帝派骠骑大将军霍去病攻击位于河西地区的匈奴休屠王，霍去病大破休屠王，并攻占休屠王王城，汉武帝改休屠王城为武威。
元封五年，也就是十五年之后，汉武帝将天下分为十三州，各置一刺史，史称"十三部刺史"。而霍去病所打下的河西地区置凉州刺史部，意为"地处西方，常寒凉也"，凉州自此得名。
凉州最初设有八个郡，名字都非常好听，分别是：
安定郡、天水郡、陇西郡、金城郡、武威郡、张掖郡、酒泉郡、敦煌郡
