622年，杜伏威已经成为江淮地区的老大，而李世民也已经平定了刘黑闼徐圆朗的叛乱，隐隐有向杜伏威下手的意思，杜伏威见情势不妙，遂主动请求入朝为官，李渊自然求之不得。李渊加封杜伏威为太子太保兼行台尚书令，是大唐第四号人物，仅在李渊、李建成和李世民三人之下，尚在李元吉之上。当然这其中并不是说李渊真的重用杜伏威，而是一种拉拢之意，毕竟江淮地区可不是小范围。
杜伏威当初进京的时候只带了部分心腹，包括养子阚棱，而将江淮地区的军权交给了另一个养子王雄诞。那时候的杜伏威和辅公祏已经越走越远，杜伏威忌惮辅公祏而只让他做了没什么实权的仆射。杜伏威一走，辅公祏就开始谋划篡权，并且开始造反，他告诉部下是杜伏威因为被软禁在京城而让他们造反，于是江淮军就这么反了。
辅公祏自立为帝。远在京城的杜伏威如坐针毡，他的处境极其尴尬，不能离开京城又没法证明自己的清白，毕竟造反的正是自己的部下。
在这种情况下，624年，杜伏威在长安暴卒。《新唐书》记载杜伏威喜好长生不老之术，误食了云母而被毒死，但是也有很多人怀疑是李渊下令将杜伏威毒杀的，究竟如何已经不得而知。
辅公祏造反后，李渊派李孝恭去平叛的，同去的还有阚棱，阚棱为平叛立下大功。可惜在辅公祏战败之际，辅公祏诬陷是杜伏威让他造反的，并且阚棱也参与了其中。
