冯国璋死后,曹锟和段祺瑞矛盾激化。最终曹锟率军北上,挑起了直皖大战。冯玉祥虽然和曹锟一起撤军北上,但是并没有参加直皖大战,而是采取了局外中立的态度。
曹锟击败段祺瑞以后,和张作霖一起控制了北洋政府大权。冯玉祥和其他中立的北洋军阀一样,都名义上隶属了曹锟。并在此后和阎相文一起入陕,击败了皖系军阀陕西督军陈树藩,因功升为第11师师长。阎相文死后,冯玉祥继任陕西督军,成为割据一方的军阀。
在第一次直奉大战爆发以后,冯玉祥支持曹锟,出兵河南击败了支持张作霖的河南督军赵倜,控制了河南。不过曹锟的亲信吴佩孚把河南当做自己的地盘,找机会挤走了冯玉祥,把他调任陆军检阅使的闲职,率军驻守南苑。
由于并非曹锟嫡系出身,因此在陆军检阅使任上冯玉祥受到了很大的排挤,部队军饷也严重不足。最后冯玉祥率部劫了运送军粮的火车,逼得曹锟出面调停,才算把事态缓和下来。
所以冯玉祥虽然一度隶属曹锟,但是双方关系并不密切。冯玉祥因为曹锟势大,所以依附于他,而曹锟则看中了冯玉祥手下的3万大军。双方更多的是互相利用的合作关系。