李渊也曾与他谈论大事，唐俭说："您的相貌有天子之威，姓氏又符合谶语，且深得天下人心。倘若您能向外招募豪杰，向北连结戎狄，向右收复燕、赵之地，渡黄河尔后南下，占据秦雍两地，这样就可以建立商汤、周武一样的大业了。"
此时的李渊仍韬光养晦，说："汤、武之事，我哪里敢去谋求？但如今天下正乱，您刚才提到应拯救天下百姓，我以后会为天下百姓考虑这些的。"后来，等到李世民做大将军时，唐俭被授为记室参军、渭北道元帅司马，随从李世民平定京师，并担任相国府记室，还被封为晋昌郡公。
武德二年，唐俭进职为内史舍人，随后迁升中书侍郎、散骑常侍。当时吕崇茂占据夏县造反，他与军阀刘武周连兵，为了平定叛军，朝廷任命李孝基为行军总管，让他带领工部尚书独孤怀恩和陕州总管于筠攻打他们。
当时唐俭奉命出使到达军中，恰逢李孝基等人被刘武周擒获，唐俭也在其中。原来，表面上独孤怀恩屯兵蒲州，实际上暗中早已经和部将元君实谋反，所以唐俭才会被俘虏。不久，独孤怀恩又归降朝廷，高祖李渊下诏仍让他驻守蒲州。唐俭担心独孤怀恩继续作乱，便密令刘世让回朝去告发他的阴谋，当时恰好李渊在蒲津，船走到一半而刘世让正好及时赶到。
