曾多次上书，建议在开凿过程中注重民生，避免过度劳役百姓，隋炀帝虽表面采纳，却并未完全照办。大业二年（606年），杨素因病去世，享年不详。
杨素去世后，隋炀帝追赠他为光禄大夫、太尉公，谥号“景武”，并为他举行了隆重的葬礼。但不久后，隋炀帝便因忌惮杨素的家族势力，对杨素的儿子杨玄感等人进行打压。后来，杨玄感因不满隋炀帝的统治，发动叛乱，最终兵败被杀，杨素的家族也因此受到牵连，逐渐衰落。
纵观杨素的一生，他既是隋朝的开国功臣，也是定国安邦的名将。他平陈破虏，安定南北，为隋朝的统一与稳定做出了不可磨灭的贡献；他治军严明，善用谋略，创造了多次以少胜多的经典战役，堪称中国古代军事史上的杰出将领。《隋书》中评价他“多权略，乘机赴敌，应变无方”，唐太宗李世民也曾说：“杨素之才，非唯武将，亦兼文臣之智，隋室之兴，素功不可没。”