隋末唐初，天下战乱，六十多岁的任瑰在河东当地小有才名。李渊起兵反隋时，任瑰只不过是一名小小的户曹官。因任瑰做事稳妥，长相儒雅李渊便让他教导李建成兄弟。李渊带着李世民外出平息起义军叛乱时，李渊更是将陇右大本营以及全家老小托付给了任瑰。随着李氏家族开疆扩土，李渊更是给任瑰提供了独自领兵作战的机会。任瑰果然没有辜负李渊的厚望，新安一役，任瑰率领唐军击败了不可一世的王世充。因此次立下的战功，任瑰被李渊封为管国公。
在李世民率军攻打洛阳时，李世民特意将其调来，负责大军粮草供应。随后任瑰指挥的战役，唐军都大获全胜（不包括徐州和扬州之战）。虽然能力出众，但他并未被李世民列入凌烟阁。至于原因，还是因为任瑰曾是李建成、李元吉的老师。好在李世民是一位心胸宽广的君主，李建成伏诛以后，登基的李世民先将任瑰调离京师，不久后回到京师的任瑰便被李世民任命为兵部尚书。
