冯道最初是刘守光的参军,他曾来劝阻刘守光不要伐中山,刘守光非但不听,还把他投入监牢。这件事给冯道留下了阴影,他开始明白面对这些专横跋扈的军阀,不能动之以情、晓之以理,唯有顺从而已。即使明知决策是错误的,自己也不要出来反驳,而是顺从领导的意志,贯彻执行这种错误的方针,待恶果结成,国家覆亡之后,自己再去另投明主,不跟着这条船一起沉沦。
因此,冯道见到刘守光不久将会被太原的李克用父子攻灭,自己便弃他而去,投奔太原。冯道在宦者张承业手下当一名巡官,因他公文写得好,很受张承业的赏识,又因长得像唐朝故相杜黄裳,最终被推荐给晋王李存勖,成为太原掌书记。
当时李存勖正与后梁末帝交兵,双方夹河对垒。冯道从军在外,与仆厮同器饮食,过得很艰苦。每次军士在外掠夺到女子,都会进献给冯道,然而冯道都会将其置之别馆,日后再送还归家,不为女色所动。
之后李存勖攻灭后梁,登基称帝,是为后唐庄宗,