公元184年底，边章、韩遂等人在西北作乱，并且逐渐逼近关中，皇甫嵩受命守卫长安。就在这样的场景下，他被宦官们从身后捅了一刀。
当初他征讨黄巾军时路过邺城，发现宦官头领赵忠在当地的房产极尽奢华，严重逾越了制度，因此上表朝廷请求没收；其后他凯旋回京，另一个宦官张让向他索贿，被言辞拒绝。此时这俩宦官联手捏造罪名，弹劾皇甫嵩连战无功、耗费钱粮。
汉灵帝对对这些阉党几乎是言听计从，他召回皇甫嵩，降职、贬官以示惩戒。
公元188年，凉州叛军首领王国包围陈仓，皇甫嵩被火线起用，带领董卓前去迎战。这一仗，体现出了两人在军事能力方面的差距。
起先，董卓提议急攻陈仓。但皇甫嵩认为敌军气势正盛，而陈仓防守坚固，应当采取疲敌之计，待对方懈怠时再行出击。
