620年4月，双方相持已经有半年，宋金刚军团粮草断绝，无法继续作战，而李世民坚壁清野，又有关中物资支持，唐军士气非常旺盛。如此，宋金刚被迫率兵返回，让尉迟恭、寻相断后，掩护主力撤退。
宋金刚撤兵，李世民以殷开山、秦琼、李绩为先锋，率兵追击。在吕州，秦琼追上尉迟恭、寻相，将其击败，尉迟恭败逃。此时，大将刘弘基建议李世民停止追击，以免遭受埋伏，被李世民拒绝，直言"必乘胜取之"。于是，李世民舍弃步兵，与殷开山、秦琼等率骑兵追击，穷追猛打。
唐军骑兵追击，速度很快，在雀鼠谷追上宋金刚，"一日八战，皆破之，俘虏斩杀数万人。"宋金刚、尉迟恭、寻相狼狈逃跑。唐军继续追击，宋金刚只好在介休列阵迎战，以城池为依托，做最后一搏，绝地反击。
唐军骑兵冲杀而来，李绩奋勇当先，尉迟恭、寻相则率部反击，双方在城下激烈厮杀。此时，介休敌军在城楼上用弓箭射杀，阻击唐军攻势，李绩稍稍后撤，唐军便阵脚混乱，尉迟恭、寻相乘势猛扑，唐军有溃败之危险。
