袁天罡与史万岁关系比较好，史万岁为隋朝立下汗马功劳，杨坚也对他恩宠有加。袁天罡曾经对于史万岁说不要与太子来往，史万岁笑道，太子就是储君，不与他来往还与谁来往。史万岁于是不听。后来太子逐渐失宠，为了保住自己位置，竟然诅咒其自己父母。杨坚得知，立即将太子废除，而史万岁也牵连其中，在一次他为自己将士请功的时候，杨坚勃然大怒，将隋朝第一功臣史万岁杀害。
在史万岁被杀之后，袁天罡一直过着隐居生活。多次考试不中的李密寻找他，让为自己指明道路。袁天罡说他李密将来会成为天子，但是不久就被赶下台，李密听了哈哈大笑，自己考试每次都名落孙山，还天子呢，给我县令做就满足了。后来李密在瓦岗山起义，并自称为皇帝，李密想要寻找袁天罡，但是他已经躲远了。虽然李密在瓦岗山称王，但是不久之后就被王世充打败，李密在走投无路的时候，只好向王世充投降。后来在战争中，有趁机逃跑，向李世民投降，最后因为犯罪，而被贬到四川，在路上就被仇人所害。
在进入唐朝之后，李渊听说到袁天罡的名气，于是想要寻求他做官。但是袁天罡认为李渊就是一个具有妇人之仁的君主，不可靠，于是拒绝出山。
