阳、楼烦两个郡的太守，后来又被任命为殿内少监、卫尉少卿。
大业九年春，隋炀帝征伐高句丽时，李渊在怀远镇督运粮草。
同年农历六月，杨玄感利用民愤举兵反隋，李渊奉隋炀帝之命镇守弘化郡（，兼知关右诸军事。
在此期间，李渊广交天下豪杰，遭到隋炀帝的猜疑，恰好有诏书命李渊去隋炀帝巡行所到之地，李渊因病没有去。
恰好李渊的外甥女王氏在后宫，隋炀帝问王氏，你的舅舅怎么迟迟不来？
王氏回答说李渊病了，隋炀帝又问，病的要死了吗？李渊知道以后，日益恐惧，因此无节制地饮酒、收受贿络自污以自保。
隋炀帝大业十三年=，李渊正式任太原留守、晋阳宫监，成为这一地区最高军政长官。
李渊奉命率兵征讨历山飞贼甄翟儿，与甄翟儿遭遇在河西郡的雀鼠谷，李渊大获全胜，于镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力。
李渊之子李世民知隋必亡，暗中结交豪杰，招纳逃亡之人，网罗各种人才。
大业十一年，李渊调任山西河东慰抚大使，到达龙门时，遇上了母端儿农民起义，李渊领兵击败了起义军，收编万余人，实力大增。
击绛州贼柴保昌，降其众数万人，次年升为右骁卫将军，突厥侵犯边塞，隋炀帝便让他和马邑郡守王仁恭一同北击突厥。
他们的兵马很少。李渊便选出擅长骑射的两千骑兵，吃住骑射仿效突厥兵，给突厥看他们闲暇时的射猎驰骋。
李渊有另外挑选善于射箭的士兵作为埋伏，等和突厥兵遭遇时李渊便下令埋伏攻击，结果打败了突厥。
起兵反隋的队伍蜂拥而起，隋炀帝所在的江都被孤立了，晋阳令刘文静、晋阳宫监裴寂都是李世民的密友。
李世民就和晋阳县令刘文静密谋起兵，起兵造反的计策确定后李渊还不知情。
李世民想实情相告又担心李渊不听，只好私下找到裴寂商议。
裴寂就选了晋阳宫的几个美女，乘李渊喝醉酒之后，陪他过夜。然后，裴寂把李世民的谋划告诉了李渊。
事实证明这招很管用来着，自古英雄难过美人关嘛。
大业十三年二月，李渊治下驻马邑的鹰扬校尉刘武周发动兵变，杀死马邑太守王仁恭，割据马邑而自称天子。
农历三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。
炀帝闻讯