大惊失色，赶紧派大将朱令赟率军抵抗。朱令赟率领十万水军从湖口（今江西湖口）出发，顺江而下，想解除金陵之围。曹彬派潘美率领部分兵力在正面牵制敌军，自己则率领精锐水军绕到朱令赟军队的背后，截断他们的退路。
两军在皖口（今安徽安庆西南）相遇，朱令赟果然急于求战，下令水军全力进攻潘美所部。就在两军打得激烈的时候，曹彬率领的水军突然从背后杀出来，南唐军队阵型大乱。曹彬下令放火烧船，南唐水军的战船大多是木船，一时间火光冲天，南唐士兵死伤无数。朱令赟见大势已去，自焚而死，剩下的将士要么战死，要么投降，十万水军全军覆没。
皖口之战后，南唐再也没能力组织大规模抵抗，曹彬率领大军顺利抵达金陵城下，开始了长达数月的围城之战。那时的金陵城城高池深，粮草充足，要是强行攻城，肯定会造成巨大伤亡。曹彬不愿过多伤及无辜，就采取“围而不攻”的策略：一方面派兵把金陵城团团围住，切断内外联系；另一方面不断派使者劝李煜投降，告诉他人“要是归降，能保南唐宗室安全，百姓也能免受战火之苦”。
可李煜还心存侥幸，一边派使者去北宋求和，一边继续坚守城池。围城期间，曹彬严格约束部下，不许士兵骚扰城外百姓，甚至允许城中百姓出城买粮食。
围城几个月后，金陵城里的粮草渐渐耗尽，士兵士气低落，不少将领都劝李煜投降，可李煜还是犹豫不决。曹彬见时机成熟，就派人对李煜说：“现在城池被围了这么久，城里百姓饥寒交迫，再坚持下去恐怕会出变故。陛下要是愿意归降，臣可以向您保证：绝不伤害您和您的宗室、大臣，也绝不劫掠城中财物。”李煜见大势已去，终于在宋开宝八年（公元975年）十一月，率领南唐宗室和大臣出城投降，存在了三十九年的南唐政权正式灭亡。
破城那天，曹彬率领大军进入金陵城，下令封闭南唐的国库，严禁士兵进入；又派人保护南唐宗室和大臣的府邸，不许任何人骚扰。他自己则住在南唐宫殿里，每天处理政务、安抚百姓，城里秩序井然。有将领向他提议：“南唐宫里有无数珍宝，不如拿出一部分赏赐给将士们？”曹彬摇头说：“现在南唐归了大宋，这些珍宝就是国家的财产，咱们怎么能私分？”之后，他让人把国库里的珍宝一一登记造册，派人送到开封交给赵匡胤。
平定南唐后，曹彬率领大军押解李煜和南唐宗室、大臣返回开封。赵匡胤亲自到城门迎接，见曹彬率军归来时依旧纪律严明，将士们秋毫无犯，心里大喜，当即任命他为枢密使，掌管全国军事，地位等同于宰相。这时有人对赵匡胤说：“曹彬平定南唐立下大功，要是再给他这么高的职位，恐怕他权势太大，对朝廷不利。”赵匡胤却笑着说：“曹彬为人忠厚，不是那种恃功自傲的人。朕要是连这样的功臣都不信任，以后谁还会为朕效力？”
果然，曹彬担任枢密使后，依旧保持着谦逊谨慎的态度，从不居功自傲。他每天按时上朝处理政务，对下属宽容大度，对同僚谦和有礼，就算遇到有不同意见的人，也不跟人争执，而是耐心听对方说完，再说出自己的看法。赵匡胤好几次在朝堂上称赞他：“曹彬不光能率军破敌，还能用德行服人，真是我大宋的栋梁之臣。”
宋太平兴国元年（公元976年），赵匡胤驾崩，他的弟弟赵光义即位，就是宋太宗。太宗即位后，对曹彬依旧信任，继续让他担任枢密使。那时北宋基本统一了南方，太宗就把目光投向北方，想收复被契丹占据的燕云十六州。宋雍熙三年（公元986年），太宗决定发动北伐，史称“雍熙北伐”。他任命曹彬为幽州道行营前军马步军都部署，率领东路军作为主力，从雄州（今河北雄县）出发直取幽州（今北京）；又任命田重进、潘美分别率领中路军和西路军，从定州（今河北定州）、雁门关（今山西