李渊，字叔德，陇西狄道（今甘肃临洮）人，自称十六国时期凉武昭王李暠七代孙。其祖父李虎是西魏宇文泰时的八柱国大将军之一，八柱国大将军是宇文氏贵族统治集团的核心力量，北周建立后，李虎被追封为唐国公。
李渊之父李昞承袭爵位后，曾担任北周安州（今湖北安陆）总管、柱国大将军。李渊之母是另一位柱国大将军独孤信的四女儿，同时也是隋文帝独孤皇后的胞姊，所以李渊是隋炀帝的亲表兄，大其两岁；李渊之妻则是北周武帝宇文邕的外甥女窦氏。由此可见，北周至隋，李渊家族系皇亲国戚，婚姻连亲，这也使得他更易于结识达官显贵。
显赫的家世背景为李渊成就帝业提供了良好的社会环境，但成败与否，主要还是需要靠其后天自身的磨砺和对时运的把握。隋文帝时期，李渊袭爵唐国公，因深得姨母独孤皇后宠爱，先后担任过谯、陇、岐三州刺史。大业年间，他又转任荥阳郡（今河南荥阳）和楼烦郡（今山西静乐）太守。在隋代，刺史三年一轮任期，李渊在楼烦任期内，曾特别对北方军事重镇晋阳（今太原附近）的地形、地势及防范体系进行了深入研究和了解。随后，李渊被调回京城，相继担任殿内少监、卫尉少卿，掌管宫殿禁卫之事。
推荐历史人物故事阅读：为什么李世民敢向李渊造反，而朱棣却不敢向朱元璋造反呢？
大业九年（613），隋炀帝“诏征召天下之兵在涿郡集结”，再度东征高句丽。繁重的徭役和劳役，远远超过隋朝民众的承受力，民不堪重负（大业年间全国人口四千万，而这些劳役所征用的人力约三千余万），而滥用民力的结果便是民变四起。其中在黎阳督运粮草的杨玄感，也趁机起兵反隋。
李渊此时被隋炀帝任命为弘化郡留守，并节度关右十三诸郡兵，抵御叛乱势力。李渊的妻兄窦抗，趁机劝其举兵反叛，但异常谨慎的李渊审时度势，并不急于求成，反而表现出特别胆小怕事的样子，因为不久之前他还曾被隋炀帝猜忌。不过，也正是他的示弱表现，才让他一次次躲过了劫难。
大业十一年（615）五月，隋炀帝任命李渊为山西河东黜陟讨捕大使，镇压河东毋端儿领导的起义军。由于在这期间战绩突出，大业十二年（616），李渊受命率太原所部兵马，北上与马邑郡太守王仁恭，共同抵御突厥，后升迁右骁卫将军。十三年，李渊又被任命为太原留守。
隋炀帝委派李渊镇守太原目的其实可以归纳为三点：一是确保和稳定太原的安全；二是“辐射”南面的起义军；三是向北抵御突厥进攻。
李渊深知处境之艰难，原因在于太原地处于农耕文明与游牧文明的分界线上，扼南北交通之要冲，不可避免地成为民族冲突和融合的重镇。北边，经常有突厥南下不断地扰乱，天险雄固的雁门关乃是抵御突厥的重要关口。另外，此时还发生了刘武周斩隋马邑郡太守的叛乱——刘武周自立为太守，成为割据马邑郡(今山西朔县)的地方势力后，又遣使附于突厥。
在隋炀帝的授意下，李渊出兵讨伐刘武周，将其围于桑乾镇，突厥闻讯救援，与刘武周合兵击败李渊。刘武周仗势破楼烦郡，进取汾阳宫，然后再贿赂突厥，始毕可汗回报以马，刘武周兵又陷定襄等地。后来突厥干脆立武周为定杨可汗，刘武周因此称皇帝，建元为天兴。
此时的李渊，也想以太原为基地发展自己的势力，但由于太原已经成为抗击突厥的前沿阵地，如果要起兵就必须解决突厥这个后患，否则突厥举兵南下，太原便随时可能会被攻陷，到时候岂不功亏一篑？