这些敌人的最终结果各有不同。少年时那因孤独错过的感情和比试中的不如意，都被杨素凭借自身的努力和毅力渐渐克服，化为了他成长的养分。中年时的宇文忻等北周旧臣，在与杨素的政治斗争中落败，宇文忻官至柱国，最终被杨坚以谋反的罪名处死，家族财产全部被朝廷没收，家族中的其他成员，有的被流放至偏远之地，过着艰苦的生活，有的虽逃过流放，但也被剥夺了官职，只能在民间低调度日。晚年时，尽管杨素百般退让，试图化解杨广的猜忌，但最终还是在公元 606 年，在那无尽的忧虑中病逝。
仇人家族当时的掌权者，除了宇文忻外，还有尉迟迥，他官至太师，手握重兵，在北周有极大的权势，后来起兵反抗杨坚，兵败后被杨坚派人斩杀，家族财产充公，后代或被杀，或沦为奴仆；还有司马消难，官至大司空，因不满杨坚专权，举兵叛乱，失败后逃亡他国，家族在北周的势力被连根拔起，财产被没收，留在国内的后代大多落魄；王谦，官至益州总管，也起兵反对杨坚，被杨坚派兵剿灭，死后家族财富尽归朝廷，子孙或被囚，或散落天涯；梁士彦，官至上柱国，因谋反被杨坚发觉，被赐死，家族产业全部没收，家人有的被株连，有的苟延残喘。这些家族的衰败，都是在杨坚为巩固政权、消除异己的过程中发生的，执行的结果便是曾经显赫一时的家族都走向了没落，再也无法对隋朝的统治构成威胁。
这些敌人对杨素的伤害是多方面的。在少年时，让他饱尝孤独和失落的滋味，心灵受到创伤，但也促使他养成了坚毅、刻苦的性格，通过加倍努力去证明自己。中年时，政治上的对手给他带来了巨大的压力，使他时刻面临着被算计、被打压的风险，不过也锻炼了他的政治智慧和应对危机的能力。晚年时，皇帝的猜忌让他失去了往日的从容，生活在恐惧和忧虑之中，只能无奈地收敛锋芒，可即便如此，最终还是没能逃脱命运的安排。
到了晚年，杨素回首一生，对这些敌人心中满是复杂的情感。他不再有年轻时的意气，
