据记载，袁天罡在他去世的那一年，向李世民请求回到家乡，并获得了准许，以火井县令身份返蜀。临行前，高士廉问袁天罡：你最终会做什么官职呢？袁天罡说，到今年夏四月，我的寿数就尽了，还做什么官呢！
果如他所言，袁天罡就死于这一年火井县令任上。
不过民间传说里不是这样，说袁天罡在凌云山得道成仙了。说袁天罡和徒弟李淳风一起推演著作《推背图》，这事被天帝知道了，害怕他俩泄露天机，就派陈抟老祖去阻止。陈抟老祖见了他俩，说：你俩算什么天下事，有本事先算算我的下一步是进还是退？说完，陈抟老祖岔开步，目视二人。袁天罡和李淳风面面相觑，无以言对，顷刻间他俩猛然顿悟。于是两人化仙而去。
