后来，皇甫嵩成为了朝廷官员，开始了自己为国效力的一生。倘若世界和平的话，或许皇甫嵩不会有太大的成就，但是恰好的是，当他需要功绩的时候，黄巾之乱爆发了。这是一场在张角带领下范围极广的起义活动，许多州郡很快便失守了，朝廷对此焦急不安。而在这样的时刻，皇甫嵩获得了展现自己的机会，成为了战场前线的一个将军。
一开始，皇甫嵩还处于下风，到处都是"黄天之火"，皇甫嵩靠一己之力很难力挽狂澜，在这种处境之下，皇甫嵩差点就放弃了抵抗，恰逢这时，张角突然病逝，对皇甫嵩来讲，这真是天大的好消息，没有了烈将张角的带领，黄巾大军四分五裂，最终，皇甫嵩经过了一段时间艰难的战斗，还是靠自己的智慧和毅力获得了最终的胜利。击败了黄巾军，维护了国家的和平。
战争结束之后，为了让百姓休养生息，皇甫嵩奏请免除冀州一年田租，用来赡养饥民，灵帝听从他的建议。由此不难看出，皇甫嵩不仅仅是一个会打仗的人，而且是一个不错的官员，因此人们对这件事情总结道："天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。"然而，可惜的是，朝廷的腐败早已深入骨髓，因此当皇甫嵩拒绝了中常侍张让要钱的行为之时，便得罪了对方，并因此而为其陷害。
