大业十三年(617年)四月,李渊在晋阳起兵,并秘密派人召当时还在长安的柴绍夫妇。二人接信后,商议决定让柴绍立即自长安启程赶往晋阳,李夫人留下自寻出路
柴绍路遇自河东出发的李建成、李元吉二人,说服李建成打消落草的念头,三人加紧赶路前往太原。行至雀鼠谷时,听说李渊已于五月十五日晨宣告起兵,三人相互庆贺,李建成兄弟均称赞柴绍的主意
李渊太原起兵后,于六月建大将军府,授柴绍右领军大都督府长史之职。七月初五,李渊统甲士三万于晋阳誓师出发,柴绍兼领马军总管
李渊军将至霍邑时,柴绍先到城下侦察了隋守将宋老生的布防,回来后对众将领说:“老生有匹夫之勇,我师若到,必来出战,战则成擒矣
八月初三,李渊计诱宋老生出城,两路夹击,大败隋军。李渊军攻取霍邑后,沿汾水南下,一路攻城掠地,攻下临汾,平定绛郡,柴绍每战都当先登城破阵,因功又授右光禄大夫