盖勋是凉州敦煌人，家里比较有能量。曾祖父、祖父、父亲都做过官，"家世二千石"，所以盖勋入仕是轻而易举。先是被敦煌太守举为孝廉，后来成为汉阳郡的长史，也就是汉阳郡的二把手。而凉州的治所就在汉阳郡治冀县，所以盖勋还能和凉州刺史说上话。盖勋在前期一些经历中，就体现出正直、刚强的特点。主要有四件事：
第一、武威太守某某"倚恃权埶，恣行贪横"，武威从事苏正和要检举武威太守，把他给办了。当时的凉州刺史叫做梁鹄，梁鹄是鸿都门学出身，靠书法入仕，缺乏执政才能和道德节操。他不敢碰这个武威太守，反而想杀死苏正和。而盖勋正好和苏正和有仇，但是他并没有落井下石，反而劝说梁鹄放过苏正和。
第2、 在中平元年（即公元184年）发生两次大规模起义，一个是"黄巾起义"，一个就是凉州起义。当时的凉州刺史换人了，叫做左昌。左昌在组织军队的过程中贪污数千万钱，受到盖勋的劝谏。左昌对盖勋不满，把他支到阿阳县抵抗叛军。
