本来黄巾起义不会发生得那么早，但是没想到起义部队里有个叛徒，将京城的内因给供了出来，黄巾起义只能早一个月发生了。这时的朝廷便派出了皇甫嵩为主要的大将，与另外一个大将朱儁一起去镇压这次规模庞大的起义。
这次事件后，皇甫嵩名声大振，甚至还有人劝他称帝，但是秉承着对皇帝的忠心，皇甫嵩并没有答应。只可惜的是，后来的他被奸臣所害，无辜被贬。不过，东汉末地到处都有骚乱，188年，凉州叛乱，皇甫嵩被任命为左将军，董卓被任命为他的部下，两人在对战形式上发生了争议，但是由于皇甫嵩官职更大一些，最终还是以皇甫嵩的建议为主。当然，事实也证明了，确实是皇甫嵩的建议准确一些。
当然，除了董卓之外，曹操和刘备也曾经是他的部下。根据《三国志》与《三国演义》的记载，我们可以发现，刘备主要是和皇甫嵩一起去镇压黄巾起义的，但是那时刘备的上级是邹靖，后者的上级才是皇甫嵩，因而刘备在这时并不是什么厉害人物，也并非这场起义的大功臣，只不过凭借着这场起义，刘备担任了县尉的官职。曹操在黄巾起义时，官职是骑都尉，也曾经在皇甫嵩账下，收到皇甫嵩的管辖。
