隋炀帝大业末年，徐茂公才十七岁，见天下大乱，面对隋炀帝的暴政，任何一个有志青年都不忍心看见自己的国家这样的局面，心怀远大报复的徐茂公遂就近参加了瓦岗寨翟让的起义军队，在徐茂公的建议下，瓦岗寨首领翟让采取了一些措施，没过多久，就在运河上劫取了无数公私财物，有钱能使鬼推磨，瓦岗不久就壮大起来。
随着瓦岗寨的崛起威胁着隋朝的安全，隋炀帝便派遣隋朝名将张须陀讨伐瓦岗寨，翟让吓得要跑，徐茂公止之，他挺身而出为瓦岗寨把张须陀斩于阵前，由于翟让的软弱无能，李密后来当上了瓦岗寨的主事，在李密的带领下，瓦岗寨又走向了一个高峰。
隋朝令王世充讨伐李密，徐茂公多次拒战，以奇计在洛水两岸几次大败王世充，公元617年，李密封他为右武卫大将军，时年徐茂公22岁，年青威武，智勇双全，跟《隋唐演义》中稍显老气的游方道士完全不是一个样。
公元619年，李密被王世充打败，不得已之下，李密与王伯当投靠李渊。当时李勣全统李密旧境，没有具体归属，不过徐茂公是一个真义士，他不想自邀功劳而彰主公败绩，于是他一五一十地记录州县的名称数量和军民的户口，全部报告魏公，让魏公自己献给朝廷。
