大业十三年（617年）四月，李渊起兵于晋阳，与此同时，他秘密派遣使者潜入长安，想要召回柴绍和女儿平阳昭公主。经过商量以后，平阳昭公主决定返乡组建义军，柴绍决定跟随李渊左右。就这样，夫妻二人暂时分离。
李渊知道柴绍是一位带兵打仗的好手，于是授予他右领军大都督府长史之职，并兼领马军总管。此后每遇硬仗，柴绍必身先士卒，领军当先登城破阵，军中无不对他叹服。
武德元年（618年）五月，李渊在长安称帝，建立唐朝，是为唐高祖。称帝以后，李渊命秦王李世民平定窦建德、王世充等人，柴绍跟随李世民，立下了赫赫战功。平薛举父子、破宋金刚，王世充，擒窦建德等大仗柴绍均参与其中，且发挥了巨大的作用。李渊大喜，封他为霍国公，赐食邑一千二百户，并转为右骁卫大将军。
武德六年（623年）四月，吐谷浑侵扰芳州。柴绍率军救援，于吐谷浑军战于山谷。吐谷浑军将唐军围困于山谷中，他们居高临下，射击唐军。一时间箭如雨下，唐军损失惨重，军心晃动。柴绍见状，镇定自若，他命人弹奏琵琶，并让两位美女跳舞。吐谷浑士卒不知发生了什么，纷纷放下弓矢相聚观看。柴绍见吐谷浑军阵容不整，抓住良机，派遣精锐骑兵偷袭后营，吐谷浑军大败，仓皇撤退。此战以后，吐谷浑归附唐朝。
