然而，两人的热情很快就被残酷的现实浇灭，他们都没有得到重用，相反被冷藏了。此处不留爷，自有留爷处。杜伏威和辅公祏岂能忍受这股窝囊气，愤而出走。两人率众进入淮南，自成体系，号称将军。这时，杜伏威的才干得到了发挥，大量收编其他零星小盗，很快成了当仁不让的领袖。
杜伏威势力剧增，震动了隋炀帝，他亲派右御卫将军陈稜来讨伐。陈稜来到前线后，因为惧怕杜伏威，来了个避而不战。杜伏威见状，使出一招激将法，学三国诸葛亮激怒司马懿，遣人送去妇人衣服，讥之为"陈姥"。事实证明，陈稜毕竟年轻气盛，沉不住气，被杜伏威一激而怒，一怒而狂，一狂而飙，一飙而战。
两军交战勇者胜。混战中，杜伏威肩上中了对方突施的一暗箭，但杜伏威忍着疼痛，带箭冲入敌阵，指着射箭者一声暴喝："不杀你，我绝不拔箭！"接着如同猛虎下山，所向披靡，斩杀射箭者……
杜伏威部下见主帅如此勇猛，随之奋力向前冲杀，结果陈稜军哪里抵挡得住，很快便乱了阵脚，兵败如山倒，最后陈稜仅带着数十随从逃得性命。
杜伏威乘胜追击，接连攻占了高邮（今江苏高邮）和历阳（今安徽和县），很快成了一方诸侯。
