但宋军因深入敌境过远，仓促间粮草准备不足，被契丹南京留守耶律休哥抓住东路宋军缺粮退兵之机，于岐沟关大败曹彬率领的东路宋军，斩杀数万。宋太宗得知东路军大败，大惊失色，急令中、西两路撤军。
契丹军于是调头再攻中路和西路宋军，中路宋军不战而退，幸而保全，并带回部分收复州县的百姓。但是宋西路宋军孤悬敌后，形势危急。而西路军监军使王优不顾兵力对比悬殊，强令统兵副帅杨业出击。
杨业原本不同意，王优出言讥讽说："君素号无敌，今见敌逗挠不战，得非有他志乎？"杨业被迫出战，结果全军被歼。杨业本人受重伤被辽军所俘，绝食而死。
宋第二次北伐，三路大军皆败，所夺取的州县又全部失去。在这以后，北宋再也没有主动发起北伐，对辽（契丹）从战略进攻转为战略防御，恢复燕云之地，被长期搁置下来。
