在柴绍小时候，便当了隋朝元德太子杨勇的千牛备身，当时的唐国公李渊将三女儿（即后来的平阳昭公主）嫁给了柴绍。隋朝并没有强盛多久，就因为隋炀帝过度消耗国力，压榨百姓，加上野心家的鼓动，最终酿造了席卷天下的农民起义；而李渊也在儿子和好友的"陷害"下，被迫起兵。
617年四月，李渊在晋阳起兵，并秘密派人召当时还在长安的柴绍夫妇。柴绍夫妇毫不犹豫，立马收拾行李赶往晋阳；李渊太原起兵后，于六月建大将军府，授柴绍右领军大都督府长史之职。后李渊统甲士三万于晋阳誓师出发，柴绍兼领马军总管。柴绍每战都当先登城破阵，因功又授右光禄大夫。
