然而，这也就是胜保戎马一生中的高光时刻，来也匆匆，去也匆匆。此后，他完全被太平军牵着鼻子走，一会儿被迫南下，一会儿困守直隶，屡战屡败，毫无建树。在1854年时，气急败坏的胜保终于找了个机会，将李开芳的军队围堵在高唐。这一战清军占有绝对优势，胜保采用了云梯、吕公车、重炮，甚至不惜凿隧道、埋地雷爆破都未能取胜。
小小的高唐，胜保花了几个月时间，带领数万精兵始终未能拿下，由此得到了"败保"的外号。清廷实在失去了耐心，将胜保革职拿下，贬去新疆。僧格林沁接手烂摊子后，全歼了太平军，还生擒了逃走的李开芳。
话说胜保就此远离了清军和太平军角逐的战场，只能眼睁睁看着曾国藩等人由此崛起，位极人臣。太平天国被灭后，北方捻军闹得厉害。清政府不敢继续全力使用汉人，可又实在无人能用，只好再将胜保召回，重新启用。
