时，不知是太过紧张，还是平日里独自练习缺乏与人较量的经验，他竟连连失手，成绩远不如自己预期。看着众人异样的眼光，杨素只觉如芒在背，那种格格不入的孤独感再次袭来，仿佛自己就是个局外人。这次事与愿违的经历，让他自尊心受挫，可他咬咬牙，暗自发誓一定要加倍练习，日后定要让众人刮目相看。此后，他每日天不亮就起身去练习骑射，不论寒暑，从未间断。
中年时，杨素踏入了波谲云诡的政治舞台，北周旧臣们成了他的劲敌。宇文忻，便是其中最棘手的一位。宇文忻出身于北周的名门世家，家族世代为官，在北周朝廷根基深厚，他本人官至柱国，手握重兵，在军中威望极高，家族势力遍布朝堂内外，影响力极大。当时杨坚正逐步掌权，试图稳定局势，为隋朝的建立奠定基础，而杨素凭借自身才能和家族对杨坚的支持，受到重用，这自然引起了宇文忻的不满与嫉妒。
宇文忻联合了一些同样对杨坚掌权心怀不满的北周旧臣，暗中谋划，企图在朝堂上给杨坚和杨素使绊子，削弱他们的势力。有一次，朝廷商议对边境的军事防御策略，地点就在庄严的朝堂之上。宇文忻率先发难，提出了一套看似合理实则暗藏玄机的方案，目的就是想让杨素支持的策略无法通过，进而打压杨素的威望。杨素一眼看穿了他的意图，凭借自己对军事的深刻理解和平日里积累的威望，据理力争，详细剖析利弊。可宇文忻一方人多势众，不断反驳，朝堂上气氛紧张到了极点。最终，虽然杨素的方案勉强通过，但也耗费了极大的心力，还惹得不少旧臣对他更加怨恨。这次朝堂上的交锋，让杨素感受到了来自政治对手的巨大压力，仿佛四面楚歌一般。不过，杨素并未退缩，他凭借着杨坚对他的信任，以及自己卓越的军事才能，暗中收集宇文忻等人结党营私、妄图扰乱朝纲的证据，然后果断地向杨坚揭发。杨坚大怒，下令对宇文忻等人进行惩处，宇文忻等人的势力这才受到重创，杨素也在这场政治斗争中逐渐站稳了脚跟。
有一回，地方上出现了一股叛乱势力，
