后来天上出现异象"太白经天"，在古代这通常代表着皇权旁落、帝位将移，是一种不祥的天象。唐太宗忧心忡忡，命令袁天罡推测大唐未来的命运。
袁天罡便和李淳风一起，合著了《太白会运逆兆通代记图》献给唐太宗，后世很多人认为，这就是《推背图》的前身。
据说两人推算未来时，李淳风算得入了迷，一时停不下来，袁天罡便推了推他的背，说天机不可再泄，差不多了，回去休息吧。因而此图又叫《推背图》。
袁天罡最令人称奇的，还在于他准确地推测出了自己的死亡日期。
贞观十九年，长孙皇后的舅舅高士廉问袁天罡，你最终能做到什么官职呢？袁天罡叹息道，还做什么官，今年四月我就要死了。果然，到了四月份，向来无病无灾的袁天罡忽然去世。这更增添了他身上的神秘色彩。
