不过1920年皖系被直系和奉系击败，而由于皖系之前和直系闹得是水火不容，卢永祥为了保命不得不和当时的直系军阀合作，从此卢永祥便改换门楣投身到了奉系军阀这边。
不过由于本身并不是奉系的军阀，外加上张作霖不放心卢永祥掌握着如此重要的岗位，所以在卢永祥投身进入奉系之后便一直逐步在削弱他的势力并将江浙两省的财政纳入自己囊中。
随着东南新军阀集团的崛起，东南5省迅速被控制，而卢永祥由于丢掉了自己赖以生存的地盘，自己在当时不受待见，所以在这之后便辞职下野，隐居在了租借之中，而他的儿子卢小嘉在这之后开始下海经商。
不过在影视剧之中，为了渲染气氛，把卢永祥父子二人的结局可以说是描绘的非常惨。
