唐宣宗大中二年（公元851年），河西大族出身的张议潮领导沙州汉人起义，驱逐吐蕃势力后，消息传回了唐都长安，中原人心为之一振。失去了六十年的河西走廊终于回归唐土。宣宗皇帝听说后，也是十分振奋，便下旨设置归义军，治所就设在沙州，首任归义军节度使由张仪潮出任--这就是归义军的来由。
关于归义军，这里需要解释一下：张议潮鼎盛时期，其地盘基本涵盖了河陇地区（现在的甘肃省），将整个河西走廊完全打通。所以实际上，张仪潮应该担任河西节度使，在凉州坐镇才合适。并且张议潮也一直对内自称为河西节度使，河陇百姓们也是这么称呼他的。
但由于唐朝不信任归义军，对张仪潮这支从吐蕃人手里独立出来的新势力也心存芥蒂，便拒绝授予其为河西节度使，才给了他归义军节度使的称号。
这就好比说，以张仪潮的地盘和功绩应该封他当甘肃省长，让他到兰州办公才对，但朝廷担心整个河陇地区都归了张仪潮，就只是封了他一个敦煌市长，让他在敦煌办公。当然这也是正常现象，当时藩镇割据，朝廷不信任所有藩镇，不单是针对张仪潮一个人。
