李密设计除掉张须陀后，通过一系列的军事行动控制隋朝的粮仓兴洛仓，使瓦岗寨走向强盛，充分展示了自己的才能，因此得到了王伯当、徐世勣等将领的认可和推举，翟让亦主动放权，赋予李密兵权，让李密率领瓦岗军与隋军作战。徐世勣在李密的领导下，充分发挥自己的军事才能，创造了许多辉煌的战绩，他曾在洛水用计大败王世充，后率领五千人袭破黎阳仓，使瓦岗寨控制了隋朝的又一个粮仓，河南群雄和百姓随后纷纷归附瓦岗寨，瓦岗寨由此成为中原最强大的势力。
后来，李密和翟让为争夺权力发生分歧。李密设鸿门宴杀害翟让时，在场的徐世勣也差点被士兵杀死，幸好李密下令阻拦，徐世勣才幸免于难。宇文化及在江都杀死隋炀帝后，率军北返中原，李密派徐世勣防守黎阳仓，徐世勣以弱胜强，击退了宇文化及。不久，王世充在偃师击溃李密，李密投降唐朝，徐世勣在魏征的劝说下亦投降唐朝。不过，徐世勣投降的方式很是特别，他没有直接向唐高祖李渊献地投降，而是通过李密献出土地，这样做既保全了自己和李密的君臣之情，也证明了自己是一个怀有忠心的人，唐高祖深受感动，遂赐徐世勣姓李氏，从此，徐世勣改姓李世勣。
徐茂公的影视剧形象
619年，窦建德攻占黎阳，俘虏李世勣和魏征，李世勣很快又逃归唐朝。其后，李世勣跟随秦王李世民讨伐王世充、窦建德，立功甚多，他曾在秦王李世民遭到单雄信（偃师之战后，单雄信投降了王世充）的近身攻击时挺身而出，呵止单雄信，帮秦王李世民脱离了险境。秦王李世民攻占洛阳后，唐高祖下令处死单雄信，李世勣念及旧情，请求唐高祖赦免单雄信，情愿用自己的官爵为单雄信赎罪，唐高祖却没有答应，李世勣悲痛不已，便在刑场上哭着为单雄信告别，并割下自己的一块肉喂单雄信吃。可见，李世勣始终是一个有情有义的侠客。
