另一组高人是袁天罡和李淳风。这两位一说是师徒，一说是师兄弟，在《兴唐传》中都是道家名士，不是师徒也不是师兄弟，但他们都深通天文、地理、阴阳、历算之学，他们合作出了一本书，名叫《推背图》，算出了万年之事，从唐朝一直推算到未来一万年，有人说算得很准。
李世民和这五位高人结缘，是因为杨广让李渊修晋阳宫。李渊三个月无法完工，李民民提出借天雷寺的木料，他跟明德长老是好朋友，可以先拆了庙，等来年再重修。李世民到天雷寺说这事，结识了五位高人。后来，这五位高人一直给李世民出谋划策，帮助李世民平灭天下反王，最终除掉李建成、李元吉，继位当了皇帝。
