不管怎么样吧，清军毕竟是政府军，装备优良，人数众多，还是给太平军造成了极大的压力。
太平军在遭受了几次小挫败之后，撤回到桂平县的新墟、紫荆山地区。在这里，双方都设置重兵，进行了激烈的战斗。相持了两个多月以后，太平军主动放弃新墟，引诱清军追击。向荣不知是计，贪功冒进，遭到太平军的伏击，几乎全军覆没。
太平军乘胜攻占永安。咸丰皇帝严厉斥责了赛尚阿等人，命令他们收复永安。
向荣、乌兰泰督兵攻城，可是太平军作战勇猛，给清军予以沉重打击，围攻了四个月，永安城虽然不大，确实固若金汤。清军只能望城兴叹。
此时，日后名扬天下的江忠源正在乌兰泰的军中效力。江忠源认识到太平军的厉害，多次给乌兰泰建议：太平军人马剽悍，骁勇善战；如果让他们的势力漫延但全国各地，局势必将不可收拾，应该乘此良机，把他们困死在永安城中，聚而歼之。
