后来皇甫嵩和董卓一起去凉州镇压叛乱。当时董卓是前将军，皇甫嵩是左将军。董卓官职比皇甫嵩高，但朝廷却命令董卓听命于皇甫嵩。这让董卓很不爽。在战场上，他经常和皇甫嵩意见不一致。但每次都证明皇甫嵩的判断是正确的。最后，皇甫嵩、董卓平定了叛乱。
在当时的各地将领中，皇甫嵩是最有实力、声望最高的。他完全可以像董卓、曹操那样"挟天子以令诸侯"。皇甫嵩平定黄巾起义后，他的部下就劝他趁机带兵入京，诛杀宦官、废汉灵帝，时机成熟后自立为帝。但皇甫嵩忠诚于汉朝，拒绝那样做。皇甫嵩也一直有机会杀掉董卓。他的部下劝他带兵攻击董卓。但皇甫嵩过于保守，总想在合法范围内解决问题。他只是多次上书朝廷，控诉董卓的不法行为。当然这样做没有什么用。最后董卓入京控制了朝政，并废皇帝、杀太后，皇甫嵩也被打击报复，差点被杀。皇甫嵩无力阻止大汉乱局，最后在混乱的长安城病逝。
