乘坐小型舴艋舰，悄悄靠近铁索。士兵们潜入江中后，凭借娴熟的水性，避开陈军的巡逻，迅速用斧头与锯子砍断铁索，破坏栅栏。
天快亮时，铁索与栅栏已被破坏殆尽。杨素见时机成熟，立即下令发起总攻。他亲自率领五牙舰冲在最前面，利用拍竿砸击陈军战船，陈军战船失去铁索连接，首尾不能相顾，很快便被隋军战船撞碎或拍沉。吕忠肃见状，亲自率军登上隋军战船，与隋军展开近身搏杀。杨素身先士卒，手持长矛，斩杀数十名陈军士兵，麾下士兵见状，士气大振，奋勇杀敌。最终，陈军大败，吕忠肃率领残部逃走，隋军顺利突破歧亭防线。
此后，杨素率领水师继续东进，陈朝沿江守军闻风丧胆，纷纷弃城而逃。开皇九年（589年）正月，杨素的水师抵达汉口，与秦王杨俊率领的陆军会师。此时，东路军已逼近陈都建康，陈后主陈叔宝才意识到局势危急，急忙下令调兵遣将，抵御隋军。但陈朝军队长期疏于训练，且陈后主昏庸无能，指挥混乱，根本无法抵挡隋军的进攻。
正月二十日，隋军攻破建康，陈后主带着张贵妃、孔贵嫔躲进皇宫后院的枯井中，被隋军擒获，陈朝灭亡。消息传到汉口，杨素率领水师顺江而下，抵达建康，与其他几路隋军会师。至此，历时近四个月的平陈之战宣告结束，隋朝终于统一了全国，结束了自西晋末年以来近三百年的南北分裂局面。
平陈之后，杨素因功被封为越国公，食邑三千户，赏赐绸缎万匹、奴婢百余人，其子杨玄感也被封为仪同三司。但杨素并未居功自傲，他深知，江南地区刚刚平定，百姓对隋朝的统治尚未完全认同，若不加以安抚，极易引发叛乱。于是，他主动向隋文帝请求，前往江南安抚百姓。隋文帝采纳了他的建议，任命他为荆州总管，负责镇守江南。
杨素到任后，采取了一系列安抚措施：他下令赦免陈朝的降兵降将，给予他们妥善安置；减轻江南地区的赋税徭役，缓解百姓负担；尊重江南地区的文化习俗，禁止隋军士兵骚扰百姓。同时，他也严厉打击地方豪强的叛乱活动，先后平定了汪文进、高智慧等地方势力的叛乱，稳定了江南局势。在杨素的治理下，江南地区很快恢复了秩序，百姓安居乐业，隋朝的统治也得以巩固。
隋朝统一江南后，北方的突厥成为最大的威胁。突厥乃是北方草原上的游牧民族，自北魏时期便已崛起，到隋朝初年，已分为东突厥与西突厥两大部落，其中东突厥的沙钵略可汗、西突厥的达头可汗，皆拥有强大的军事力量，时常率领骑兵入侵隋朝边境，掠夺人口与财物，给隋朝的北方边疆带来了极大的困扰。
开皇三年（583年），隋文帝曾派大军分五路出击突厥，虽取得一定胜利，但并未彻底解决突厥的威胁。开皇九年（589年）平陈之后，隋文帝终于得以集中精力应对突厥，他任命杨素为灵州道行军总管，率领大军驻守北方边境，防备突厥入侵。
开皇十九年（599年），东突厥的都蓝可汗与西突厥的达头可汗结盟，率领十万骑兵入侵隋朝边境，一时间，北方边疆告急，隋文帝立即任命杨素为行军元帅，率领大军抵御突厥。
以往隋朝对抗突厥，皆采用“方阵战术”——将步兵布置在中间，形成密集的方阵，外围配备骑兵，以步兵方阵阻挡突厥骑兵的冲击，再以骑兵迂回包抄。这种战术虽能抵御突厥的进攻，却难以重创突厥骑兵，往往只能将其击退，无法彻底消灭其有生力量。杨素深知，若要彻底击败达头可汗的十万骑兵，必须改变这种保守的战术。
抵达前线后，杨素召集麾下将领，提出了改变战术的想法。他说：“突厥骑兵骁勇善战，擅长奔袭，若仍用方阵战术，虽能自保，却无法破敌；我军应放弃方阵，组建精锐骑兵部队，与突厥骑兵正面交锋，以快制快，方能重创敌军。”
将领们闻言，