北郡那个地方大家都知道，常有羌人、匈奴、鲜卑这些部落肆意进犯，这就让皇甫嵩不得不过上了军队生活。等到桓帝灵帝时期，宫中变成了宦官的天下，很多正义之士都遭到了陷害，史称"党锢之祸"。这种现象在灵帝执政期间达到了顶峰，皇上成日不思朝政只顾寻欢作乐，还总是搜刮民脂民膏，宦官在这之中也得到了不少好处。显然朝廷已经陷入了一片混乱之中，而一位名叫张角的人就趁此机会率领他的弟子出来蛊惑人心发展教徒,为的就是找准时机一举谋反。不过还没等到起兵，消息就不小心被泄露了出去，朝廷立马对张角展开了通缉。张角不甘心就此作罢，所以他决定提前起义，这得到了众多教徒的支持，他们每经过一个地方就大肆杀戮，很快就造成了很大的动静。
由于起义就发生在离朝廷不远的地方，可以说直逼要塞，这就使得在皇宫里的汉灵帝都不得不感到深深的惶恐，于是他急急忙忙把大臣们召集到一起，商量着想个什么法子。就在大家一筹莫展之时，皇甫嵩站出来提议，要求他立即赦免被禁锢的人，与此同时还应当大大奖赏众将士，这样才能笼络人心鼓舞士气。随后汉灵帝听取了他的这个提议，还把他任命为左中郎将，和右中郎朱俊一起征讨起义军。很快，在皇甫嵩和朱俊的共同努力下，他们一路披荆斩棘，接连拿下了许多起义军首领，大部分的起义军也都被降服。不过汉灵帝并没有吸取这次的教训，依然我行我素昏庸无道，这也让很多的平民百姓大失所望，不仅对统治者失望也对这国家感到失望。
失望积攒久了，自然会爆发新一轮的冲突，所以皇甫嵩没过多久就再次被派去平定战乱。因为几次皇甫嵩都立下了战马功劳，所以他在那时候也树立了较高的威望，许多人都很看好他，其中就有个官吏。
