黄巾起义的同年，韩遂、北宫伯玉等人也乘机在度造反，东汉末年羌人作乱三十余年，一直到三国鼎立时代依旧是北方很为重要的一股势力，也是蜀汉和曹魏争相拉拢的造反专业户。皇甫嵩被召回长安，保卫皇家陵墓。
皇甫嵩平完黄巾还顺便告十常侍之一赵忠一状，原来途径赵忠住宅的时候，发现赵忠住宅超过了规定，“愈制”实际上是非常严重的罪责，比如私自用了皇帝才能用的黄袍加身，那就是造反抄家灭族的罪责。
卢植被左丰索贿，皇甫嵩打着打着成为三路主帅，自然更备受瞩目，十常侍头头张让更是开口要五千万，皇甫嵩自然是一个铜板没给。接连得罪了赵忠和张让，虽然皇甫嵩是灵帝亲自征召的心腹将领，但是耐不住张让和赵忠的日日诋毁，以皇甫嵩久战无功，耗费钱粮，被剥夺了黄巾起义时候赏赐的左车骑将军，还消减了六千户封户。
皇甫嵩平定黄巾，威震海内，史载百姓作歌说:"天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。"谋士阎忠劝皇甫嵩把握机会，南面称制，皇甫嵩没有采纳。
董卓论兵，积怨在心
黄巾之战是董卓第一次和皇甫嵩的交际，虽然皇甫嵩作为援军，帮助董卓打败了张角张梁，但是董卓显然认为皇甫嵩抢了自己功劳。张角病死之后，董卓自认自己足以反败为胜，可这时候皇甫嵩来了一战而胜，这就完全是打脸董卓了。
中平五年，凉州再度发生叛乱，王国包围陈仓，汉灵帝再度启用皇甫嵩为左将军，督领董卓为前将军，讨伐王国。董卓认为应当迅速进军，支援陈仓，不然陈仓必然失守。皇甫嵩却反对，认为陈仓虽小，粮草器械充分，城池坚固，王国定然难以轻易得手。不救陈仓，不入城，进攻的主动权就在我们手中，等待王国攻城疲惫，心怀懈怠是时候，就是大获全胜的机会。
果然，王国在包围陈仓80多天之后，依旧未能攻克陈仓，王国只得撤军。皇甫嵩立即准备率军追击王国，董卓又劝皇甫嵩不可，认为孙子兵法有云“穷寇勿追”，敌人正是穷途末路的时候，贸然追击会遭受敌人困兽犹斗。皇甫嵩再度反对董卓建议，认为董卓说的不对，表示当初不主动攻击就是等待时机，如今时机已经到了，敌人已经丧失锐气，现在是毫无斗志的逃跑，不是追穷寇。
皇甫嵩说完，就让董卓殿后，独自带领军队追击，连战连胜，斩杀王国一万多人，董卓又羞又恼，愈发妒恨皇甫嵩。
