光绪二十二年（1896年），十五岁的冯玉祥正式入保定五营当兵。不久，他爹冯有茂就因病被裁掉了。从那以后，冯玉祥为了挣钱养家，在军中营很能吃苦，也很上进，这段经历后来成为他的一个底色，身上有一股子朴素拼搏的劲头。
冯玉祥面相粗糙，但心思不输各色人等。几年大头兵当下来，看到淮军暮气沉沉，没有前途，光绪二十八年，他便离开淮军，改投到袁世凯的武卫右军第三营左队右哨六棚。
在袁世凯的武卫右军，冯玉祥遇到了他人生的大贵人--协统陆建章。陆建章不仅将内侄女嫁给他，还一路提拔他。到宣统二年（1910年），冯玉祥已是北洋陆军第二十镇第八十标第三营管带，也就是干上了营长。
宣统三年，武昌起义爆发后，冯玉祥与张树声、韩复榘等人参加了滦州起义。起义失败后，冯玉祥差一点就人头落地，是马桶将军王怀庆见他相貌威武，像个人物，半途给他松绑，救了他一命。
