皇甫嵩出生于将门世家，他的父亲皇甫节是雁门郡太守。皇甫嵩少年时有文功武略之志，好《诗》、《书》，学习弓剑驰马，最初被举为孝廉、茂才。汉灵帝时期，朝廷以公车征调其为侍郎，后来又迁任北地郡太守，镇守边疆，是文韬武略型人才。
公元184年，黄巾军之乱，汉灵帝任命皇甫嵩为左中郎将，持符节，与右中郎将朱儶一起征发五校、三河骑士及募精勇，共计四万多人，合力讨伐颍川的黄巾军。朱儶首战落败，但皇甫嵩利用火攻，大败黄巾军，斩首几万人，因此被封为都乡侯。
当时，北中郎将卢植及东中郎将董卓讨伐张角都无功而归，于是诏令皇甫嵩带兵讨伐，与张角的弟弟张梁战于广宗，皇甫嵩大败敌军，斩了张梁，将已经病死的张角掘坟斩首送于京师。皇甫嵩因此被任命为左车骑将军，兼冀州牧，赐封槐里侯。
皇甫嵩消灭黄巾军之后，威名震动天下，但朝廷一天乱于一天。前信都令汉阳闫忠就劝说皇甫嵩把握机会、南面称制。皇甫嵩不用其计，他恪守臣节，尽忠本朝，想博个好名声，流芳百世。终被中常侍赵忠、张让陷害，被免去左车骑将军之职。
