后来房玄龄真的成为重臣宰相，而李审素为当五品官也找上了房玄龄，可见袁天罡的相术是很灵的，不过李世民一旦问及军事方面的事情，袁天罡就说天机不可泄露，无法为皇帝分忧。
之后，袁天罡预感继续待在皇帝一定会面临祸事，于是就请求回到家乡，而且不要任何官职，袁天罡坚持要走，李世民也无法挽留，638年，武媚娘入宫，当时天相是"武女代唐"，民间沸沸扬扬，李世民也十分忌惮。
袁天罡离开长安时，李世民曾找他算过一卦，问道：大唐何时会亡？如果袁天罡出现在其他朝代，估计每个皇帝都会问这个问题，而这个问题也是最难的，袁天罡不好作答，就说"猪上树之时"。
