就这样，王国等人围攻陈仓80多天仍没拿下，精疲力竭之际只好撤退。面对这一情况，董卓认为穷寇莫追；但皇甫嵩却认为形势不同，敌军现在是溃乱之师、而非穷寇。因此他独自率兵追击、连战连捷，斩杀一万多人。被拉在身后的董卓羞愤不已，非常忌恨皇甫嵩。
公元189年，董卓进京掌权后，立即寻思着报复往日之"辱"。他以皇帝的名义征召皇甫嵩前往洛阳，实际上是想找机会将其除掉。皇甫嵩此时镇守关中，手下精兵三万，但他明知此行凶多吉少，但仍慨然舍弃队伍，奉命孤身前往。
好在皇甫嵩的儿子皇甫坚寿跟董卓有交情，他闻讯赶往洛阳，又是理论、又是哀求，加上其他人也出面求情，董卓这才释放了皇甫嵩，任命其为议郎。
三年后，董卓被杀，曾有人建议让皇甫嵩统领西凉军旧部，并留在陕县进行安抚，但被王允拒绝。 不久后，李傕、郭汜等人攻入长安，德高望重的皇甫嵩并未被加害，其后于公元195年病死。
