公元184年，朱儁先与黄巾军波才部作战，失败。皇甫嵩只得退守长社（今河南省长葛县东北），当时，城中兵少，众寡悬殊，军中震恐。不过，冷静沉着的皇甫嵩命令将士扎好火把登上城墙，先派精锐潜出围外，纵火大呼，然后城上点燃火把，与之呼应。皇甫嵩借此声势，鸣鼓冲出。黄巾军缺乏战斗经验，惊慌散乱，被迫后撤。这时，骑都尉曹操也奉命赶来，于是皇甫嵩、曹操、朱儁合兵，乘胜追击。黄巾军顽强抵抗，数万人被杀，皇甫嵩则被封为都乡侯。
彼时，曹操作为骑都尉，同样是皇甫嵩的部下。也即曹操和刘备这两位日后的诸侯，都在年轻的时候参与了平定黄巾起义的战争。当然，这场战役的主角，不是曹操和刘备，而是皇甫嵩。接着，皇甫嵩又和朱儁一起乘胜平定汝南、陈国地区的黄巾军，并追击波才、进攻彭脱，连连取胜，平定了三郡之地。公元184年十一月，皇甫嵩与巨鹿太守郭典攻克下曲阳（今河北晋县西北），杀死张角弟张宝，俘杀十余万人。
三
因为在平定黄巾起义中立下了赫赫战功，东汉朝廷任皇甫嵩为左车骑将军，领冀州牧，并晋封他为槐里侯，食邑共八千户，也即此时的皇甫嵩，差一点就是万户侯了。在汉末三国时期，曹魏五子良将等名将，往往只有数千户食邑，在数量上一般都要低于皇甫嵩。值得注意的是，在威望和战功达到巅峰的时候，有人劝皇甫嵩趁着这一机会割据一方。但是，对汉室忠心不二的皇甫嵩，严词拒绝了这一建议。一定程度上，相对于之后的董卓等人，皇甫嵩完全具有篡权夺位的实力，但是，大丈夫有所为，有所不为。在平定黄巾起义后，凉州一带发生了叛乱。
