贾似道以为用以前的套路，元军就能退兵，没想到伯颜不吃那一套。贾似道一看求和不成，只得将所属部队及战船交由孙虎臣带领。
但孙虎臣也不是打仗的人，不久也弃军而逃，宋军不战就大败，贾似道也只得逃走。即使败了，贾似道还与孙虎臣等商量应对朝廷之策，而不是应战之计。后来贾似道所率的宋军主力再次大败，很多州县的官员也逃跑了，朝廷震惊了。
贾似道祸国殃民的事终于朝廷内外的愤怒，大臣纷纷上书罢免贾似道，宋恭帝不懂事，太后谢氏竟然以"似道勤劳三朝，安忍以一朝之罪，失待大臣之礼"，还想为贾似道解脱。
后来朝廷处死了瘳应龙，王庭等人罢官。在朝中大臣多次请求下，皇帝才罢免贾似道，把他贬到金华安置，监察御史孙嵘叟认为太轻，又贬至广东龙川安置。
