秦叔宝年幼就失去了父亲，由母亲抚养长大，性格在少年时代就体现得极为豪气，同时天生神力，称得上是力大如牛，将家传的双锏练到了出神入化的地步，所以他在山东的江湖中有着很大的名声，那一些年少子弟都以他为尊，以至于单雄信等人都知道了他的名字，彼此结为好友，这才有了"两肋岔道，义气千秋"的故事流传下来。
不过当时天下还算安定，秦叔宝尽管在江湖中有着很大的名声，但是却也无法直接变现，所以他还是在母亲的安排下找了一份正式工作，在隋朝大将来护儿麾下当一名士兵。尽管职位很普通，但是秦叔宝的名声却不同凡响，当他母亲去世的时候，身为隋朝荣国公的来护儿也亲自派人送去了吊唁的礼物，说："秦叔宝与其他士兵不同，他以后必然是能够凭借自己获取富贵的！"
来护儿对秦叔宝的预言并没有错，当兵没有几年，秦叔宝就在大业十三年（617年），跟随直接领导裴仁基一起投奔了李密，成为了反隋大军中的一员，又在武德二年（619年）带着程咬金等人投奔了李世民。
