公元188年，凉州的王国发动叛乱，率兵包围了陈仓，朝廷任命皇甫嵩为左将将，督前将军董卓，各率二万人抵御。皇甫嵩不用董卓计而大败叛军，斩首数万人。董卓又惭愧又嫉恨，因此忌恨皇甫嵩。
次年，董卓被任命为并州牧，朝廷诏令董卓的军队交给皇甫嵩，但董卓拒不交兵。于是皇甫蒿上书朝廷，从此董卓更加嫉恨皇甫蒿，但朝廷也无可奈何。后董卓被大将军何进下令率军入京，董卓取得权力之后，下令皇甫蒿回京师后，又将其下狱。
幸皇甫蒿之子坚寿与董卓关系交好，为父求情，董卓赦免皇甫嵩，任命为议郎，后升御史中丞。董卓迁都长安时，公卿百官在道旁迎接，董卓暗示御史中丞以下官吏都得下拜。事毕，拉着皇甫嵩的手说："现在你服不服呢？"皇甫嵩笑而向他请罪，董卓才解了恨。
公元192年，董卓被王允设计杀死后，皇甫嵩被任命为征西将军，率兵屠灭了董卓的宗族。后来，皇甫嵩升为车骑将军，再后来又升任太尉，再后来，又任光禄大夫、太常等职。公元195年，皇甫嵩病逝，朝廷赠以骠骑将军印绶，其子为郎官。
