李世民志向远大，有意起兵自立，成就霸业。刘文静因姻亲李密反隋一事获罪下狱，李世民听说刘文静有谋略，于是私下去狱中见他。刘文静慷慨陈词，劝李世民招揽豪杰，占据长安，霸业可成。李世民深以为然，于是将刘文静视为心腹，谋划起兵。
当时，晋阳宫副宫监裴寂与李渊交情深厚，曾经献晋阳宫的宫女给唐公侍寝，按律是死罪。刘文静与裴寂也有些交情，以献宫女一事威胁裴寂劝李渊起兵。最终李渊在李世民、刘文静、裴寂3人轮番劝说下，于是在太原起兵。
其后，刘文静请求出使突厥，与突厥始毕可汗结盟，得到突厥的援助。刘文静又以奇兵偷袭击败隋军，活捉隋将屈突通，并攻占了几个州县。
李渊称帝后，刘文静担任纳言，裴寂为尚书仆射，同为宰相，但纳言职权低于仆射。刘文静自认才能远超过裴寂，又屡有军功，而裴寂却因是李渊的故友而位居其上，所以他心中不平。刘文静常常在朝堂上议政时反驳裴寂，二人因此反目成仇。
