高祖闻之益惧，因纵酒沉湎，纳贿以混其迹焉。十一年，炀帝幸汾阳宫，命高祖往山西、河东黜陟讨捕。师次龙门，贼帅母端兒帅众数千薄于城下。高祖从十余骑击之，所射七十发，皆应弦而倒，贼乃大溃。十二年，迁右骁卫将军。
十三年，为太原留守，郡丞王威、武牙郎将高君雅为副。群贼蜂起，江都阻绝，太宗与晋阳令刘文静首谋，劝举义兵。俄而马邑校尉刘武周据汾阳宫举兵反，太宗与王威、高君雅将集兵讨之。高祖乃命太宗与刘文静及门下客长孙顺德、刘弘基各募兵，旬日间众且一万，密遣使召世子建成及元吉于河东。威、君雅见兵大集，恐高祖为变，相与疑惧，请高祖祈雨于晋祠，将为不利。晋阳乡长刘世龙知之，以告高祖，高祖阴为之备。
五月甲子，高祖与威、君雅视事，太宗密严兵于外，以备非常。遣开阳府司马刘政会告威等谋反，即斩之以徇，遂起义兵。甲戌，遣刘文静使于突厥始毕可汗，令率兵相应。六月甲申，命太宗将兵徇西河，下之。癸巳，建大将军府，并置三军，分为左右：以世子建成为陇西公、左领大都督，左统军隶焉；太宗为敦煌公、右领大都督，右统军隶焉。裴寂为大将军府长史，刘文静为司马，石艾县长殷开山为