在此之前，贺令图等人对赵光义说：“契丹主（辽圣宗）年少，母后专政，宠幸大臣们用事，请趁其灾祸，攻取幽蓟。”赵光义于是派曹彬与崔彦进、米信取道雄州，田重进奔赴飞狐，潘美从雁门出发，约定时间一齐出兵。即将出发，赵光义对曹彬说：“潘美的部队先攻打云州、应州，你们以十万人声言攻取幽州，但要慎重缓行，不得贪求功利。敌方听说大军到了，一定全力救范阳，无暇援助山后了。”不久，潘美的部队先攻下寰、朔、云、应等州，田重进又攻取飞狐、灵丘、蔚州，得到很多山后要害之地，曹彬也连连攻下州县，声势大振。每次奏本到来，赵光义都惊讶曹彬进军太快。曹彬驻扎涿州时，十天后粮食用尽，因而退到雄州补充粮饷。赵光义听说这件事后说：“哪有敌人在前，反退兵补充粮草之理，真是太失策了。”急忙派使者阻止他前进，让他马上引军沿着白沟河与米信会师，按兵不动，蓄精养锐，声张西军的气势；等到潘美等人全部攻占山后之地，再与田重进会师向东，合力攻取幽州。当时曹彬的部下诸将听说潘美和田重进屡建军功，而自己手握重兵不能有所攻取，纷纷要求进兵。曹彬不得已，带着粮草再去进攻涿州。契丹大军当前，当时正值酷暑，气候炎热，军士困乏，粮草即将耗尽。曹彬仓促退兵，军阵混乱，被契丹军追击打败，。
曹彬等人回朝后，朝廷诏令由尚书省审讯，命令翰林学士贾黄中等负责惩治，曹彬等人供认违令失律之罪。诸将依次被贬降，其中曹彬被贬为右骁卫上将军。
曹彬的战败是被诸将胁迫所致，并不是他一意孤行的结果。他们违背了赵光义所说的慎重缓行，不得贪求功利的原则，因此才认罪伏法，不去申辩。蔡东藩评价他：“宋初健将，首为曹彬，其次莫如潘美，然彬谦仁有余，智勇不足，岐沟之败，误在不智，又误在不勇。勇者非浪战之谓也，遇事有断，是谓之勇。”说他不智不勇是因为他的失败，失掉了年轻时候的勇猛，也没有正确的估计形势，尤其对于战争环境和粮饷的估计，对于士气的估计，对于敌方兵力和战斗力的估计出了错误，才导致失败。
那么，是不是曹彬带的兵太多动转不灵或者贪功冒进所致？或许是吧。
真宗时期，他被起用为侍中、武宁军节度使，又恢复了检校太师、同平章事的职位，还担任枢密使一职。曹斌病重的时候，真宗亲自去看他亲手替他和药，又赐他白金万两。赵恒向曹彬询问后事，他回答说：“臣无事可奏。臣的两个儿子（曹璨、曹玮）有才能，可以被任用，臣如果内举，他们都堪任为将。”赵恒问他们谁优谁劣，他回答说：“曹璨不如曹玮。”说的很实在，也善于揣摩皇帝的心思，让自己的儿子得以重用。
曹彬经常和皇族打交道，当然懂得皇帝的心思。他善于用兵，多次打胜仗，后来打了两次败仗，终于退了下来。如果他在巅峰时期功成身退就好了，只是他过于温和敦厚的脾气害了他，让他走了下坡路。“见好就收”这句话对于曹彬来说可以作为座右铭，可以让他对政治形势和军事斗争保持一份应有的清醒。
