代县）出发，配合东路军行动。
那时曹彬已经五十六岁，依旧心系国事。他清楚这次北伐事关重大——燕云十六州地势险要，契丹军队勇猛善战，绝不是容易对付的。临行前，太宗对曹彬说：“东路军是全军主力，你一定要谨慎行事、稳扎稳打，等中路军和西路军攻克各自目标后，再跟他们会师，一起攻打幽州。”曹彬躬身领命：“臣一定遵旨，不敢有丝毫懈怠。”
北伐初期，宋军进展很顺利。西路军在潘美率领下，先后攻克了云州（今山西大同）、应州（今山西应县）等州郡；中路军在田重进率领下，也攻克了飞狐口（今河北涞源北）等军事要地；东路军在曹彬率领下，先后拿下固安（今河北固安）、涿州（今河北涿州）等地，兵锋直指幽州。
可形势很快就变了。契丹皇帝辽圣宗耶律隆绪知道宋军北伐的消息后，立刻任命耶律休哥为南京留守，率领大军抵御东路军；又任命耶律斜轸为山西路兵马都统，率领大军抵御西路军和中路军。耶律休哥是契丹名将，擅长用兵，他知道东路军是宋军主力，只要打败东路军，宋军的北伐就会不攻自破。于是他定下“游击骚扰”的策略，不跟曹彬的大军正面交锋，而是派小股骑兵不断袭击宋军的粮道，抢夺粮草。
曹彬率领东路军攻克涿州后，粮草渐渐不够了，士兵士气也开始低落。他派人向太宗请求粮草支援，可太宗觉得曹彬进军太快，违背了“稳扎稳打”的初衷，下令让他暂时撤退到雄州，等中路军和西路军的消息。曹彬只能率军撤退，可他麾下的将领们不愿意——大家觉得一路攻克城池、战功赫赫，现在因为粮草不足撤退，会被人笑话。曹彬知道将领们的想法，可也明白粮草不足的危害，他反复劝说，可将领们还是坚持要继续进军。
就在这时，耶律休哥率领的契丹大军渐渐逼近。曹彬见没法说服将领们，只能下令再次进军涿州。可那时的宋军已经疲惫不堪，粮草又不够，行军速度很慢。耶律休哥抓住这个机会，率领大军在岐沟关（今河北涿州西南）设下埋伏，等着宋军到来。
宋军抵达岐沟关后，果然陷入了契丹军队的埋伏。契丹军队从四面杀出来，宋军一下子就乱了。曹彬虽然奋力指挥抵抗，却终究没法挽回败局。宋军士兵死伤无数，粮草、兵器损失殆尽，曹彬只能率领残部突围，撤退到易州（今河北易县）。岐沟关之战，宋军东路军主力几乎全军覆没，雍熙北伐的战局也因此急转直下。
西路军和中路军知道东路军战败的消息后，也纷纷撤退。西路军撤退时，副将杨业因为孤军奋战、寡不敌众，被俘后绝食而死，成了千古遗憾。至此，雍熙北伐以宋军彻底失败告终。
北伐失败后，曹彬回到开封，立刻向太宗请罪。他跪在朝堂上痛哭着说：“臣无能，违背陛下旨意贸然进军，导致大军战败、损失惨重，臣愿意承担所有罪责，恳请陛下治罪。”太宗见曹彬痛哭流涕，心里虽有不满，却也知道这次失败不全是曹彬的错——将领们急于求成、粮草供应不足，都是重要原因。于是他叹了口气说：“朕知道你不是故意的，这次失败，朕也有责任。你先回家休息，以后有机会再为国家效力。”之后，太宗把曹彬的枢密使职位削去，贬为右骁卫上将军。
被贬后的曹彬没有消沉，依旧牵挂着国事。他每天在家研读兵法，关注边境局势，还时常向太宗上书，提出自己对边防的建议。太宗见曹彬虽然遭了贬谪，却依旧忠心耿耿，心里很感动。宋端拱元年（公元988年），太宗恢复了曹彬的枢密使职位，让他再次掌管全国军事。
那时曹彬已经年过花甲，身体越来越衰弱，却依旧坚持处理政务。他知道自己肩负重任，不敢有丝毫懈怠。宋至道三年（公元997年），宋真宗即位，对曹彬更加敬重，还特意加授他为同平章事，让他享受宰相的待遇。宋咸平二年（公元999