隋将屈突通率军来到潼关讨伐李渊，派部将桑显和与唐军苦斗，击杀唐军数千人。刘文静估算桑显和军队疲惫时，以奇兵从后面偷袭，击败隋军。屈突通还有数万兵力，打算东奔洛阳，刘文静命人追击，活捉了屈突通，并攻占了几个州县。刘文静改任大丞相府司马，进光禄大夫、鲁国公。
李渊登基称帝后，提拔刘文静为纳言（宰相之一）。刘文静的才能远超过裴寂，又屡有军功，而裴寂却因是李渊的故友而位居其上，所以他心中不平。刘文静常常在朝堂上议政时反驳裴寂，二人因此反目成仇。
刘文静曾经与弟弟刘文起一起喝酒，酒醉后，他口吐怨言，拔出刀砍向柱子说："应该杀了裴寂！"
