据说李渊生下来的时候，体貌与一般婴儿大不一样，颇有非凡之气，并因此得到隋文帝的格外喜爱。
父亲李昞病死后，李渊继承父亲唐公的爵位，被封为谯、陇、岐三州刺史。隋炀帝继位后，李渊又不断升职。大业九年（613年）三月，隋炀帝出征辽东，委以李渊监督运送兵粮的重任。
六月间，礼部尚书杨玄感趁国内兵力空虚而起兵叛乱，大举围攻东都洛阳。李渊立即派人连夜报告征战在外的隋炀帝。隋炀帝得到消息后从前线慌忙撤军，并命令 李渊为弘化郡（治所在今甘肃庆阳）留守，抵御叛军。不久，杨玄感的队伍即被打得落花流水，杨也性命不保。叛乱平息后，李渊继续留守弘化。由于李渊十分善待 属下，在众人心目中威望越来越高。
李渊的结发妻子窦氏，据说她从娘肚子出来，就长发过肩，长到三岁时，头发竟然同身高一样长了。她自幼读《女诫》《列女传》等书，过目不忘。
这窦氏不仅聪明过人，而且从小就表现出一个女孩子少有的远大志向。她也是出身名门：父亲窦毅曾在北周做官，做到上柱国大将军，母亲是当时皇帝的姐姐襄阳 长公主。只是没过多久，丞相杨坚篡夺北周大权建立隋朝，北周便宣告亡国。面对这突如其来的变故，小小年纪的窦氏悲愤异常，脱口而出： 真恨我自己只是个女 儿身，不能拯救舅舅一家。
这话要是让旁人听见了，那还了得。窦毅立即用手掩住女儿的小嘴，再三叮嘱她可不能乱说。但暗地里，却为女儿的过人胆识而惊奇不已，并对妻子襄阳长公主说： 咱的孩子长相不俗，志向不凡。一定要为她仔细选择一位有本领的夫君啊！
于是窦毅在屏风上画了两只孔雀，遇到年轻小伙前来求婚，就先叫他试射这两只孔雀，约定只有射中孔雀的眼睛，才将女儿许配给他。一时间，好多公子王孙雄心 勃勃地前来试射，但个个都败兴而归。只有最后来的李渊，连发两箭都中了目标：一箭射中孔雀的左眼，另一箭射中孔雀的右眼。李渊就这样娶到了窦氏。
李渊与窦氏共生了四个儿子一个女儿。大儿子叫建成，二儿子叫世民，三儿子叫玄霸，四儿子叫元吉。他们唯一的女儿李氏长大后，许配给了山西临汾人柴绍为妻。
据说李渊二儿子李世民长到十来岁时，古今兵法已经烂熟于心。他一向轻财仗义，喜欢交朋结友，加上人长得高大健壮，善于骑马射箭，可谓是英姿勃勃，不同凡响。
当时，由于隋的暴政，社会上谣言盛行，大意是说隋朝要亡了，李氏将要取而代之。这些谣言开始只是在民间流传，后来竟传到宫廷，连隋炀帝也听说了。
隋炀帝便开始狐疑起来，想尽办法要除掉周围的李姓隐患。李渊的一位亲戚李密，也在朝廷做官，已经官至左亲侍。隋炀帝看他相貌堂堂，像谋大事的人，担心他将来造反，于是不明不白地将其免职。
赶走李密，后来又怀疑到另一位叫李浑的，仍以 莫须有 的罪名诬他谋反，不但将他本人杀掉，还累及整个家族。
再后来，又听说李渊在将士中颇得人心，又怀疑他才是心腹之患，于是派了两人去召李渊来见自己。李渊早已听说李浑一族惨遭灭门，知道隋炀帝召见是不怀好 意，就装出一副憔悴的病容接见来使，又赠给了好些金银，让他们回去报告说自己正卧床不起，等病情稍微好转就去见皇上。两位来使拿人钱财，替人消灾，回去即 如此这般地汇报了。这隋炀帝此时正整日淫乐，也没当回事，一晃便过了几月。
李渊有个外甥王某在后宫当差。一天，正巧被隋炀帝碰见，隋炀帝便问他： 你舅咋回事，怎么好几个月都不来见我呀？ 王某赶紧回答到： 可能是病还没好吧？ 隋炀帝一听，很是宽心，笑道： 干脆死了倒好。 说完就走了。
王某一看这情形，连忙写了密信给舅舅。李渊接到信，只看了几行便感到大祸即将临头，左思右想也无计可施。最后也只有给隋炀帝身边的宠臣送些金银，自己则有意纵酒，整天喝得醉醺醺的，想以此来表明自己胸无大志，免得引起皇上疑心，而招来杀身之祸。
大业十一年（615年）五月，就在李渊因深感自己成为隋炀帝眼中钉而忧心忡忡时，国内也危机四伏，不时有人起兵作乱。这天，突然传来皇上诏书，命令李渊 担任山西、河东宣慰大使，讨伐群盗。李渊不辱使命，很快将叛军击败，俘虏好几万人。捷报迅速送往京城，隋炀帝大喜，于八月间往北巡视，没想到在雁门忽然遭 遇一大队突厥兵。领兵头目叫始毕可汗。始毕可汗调集几十万大兵，将雁门团团围住，隋炀帝一时危在旦夕。
国难当头，屯卫将军云定兴奉命连夜招兵买马，前往雁门解围。这时的李世民，已经是十六岁的大小伙子了，闻讯兴冲冲前来报名参军。云定兴问了他的履历，知道他是将门虎子，又看他双目有神，相貌不凡，心中已经对他有了三分敬佩。
李世民向云定兴分析道： 始毕突然倾巢出动围攻天子，一定是以为我们不能迅速前去救援，才敢如此猖狂。如果我们大张旗鼓地集结军队，连绵不断地几十里布 设一个军旗，晚上仍然相互击鼓呼应，始毕必然以为大批援兵到来，定会望风而逃。 云定兴一听，觉得的确是条妙计，马上予以采纳。
果 然，始毕可汗中计。隋炀帝这才得以安全返回东都。李世民在云定兴军营中待了一年多，也不见有什么赏赐，又听说隋炀帝南下江都（治今江苏扬州）时，杀死好多 敢于向皇上进言的正直官员，感叹道： 皇上如此昏庸，我在军中又能有什么作为？ 于是离开军营，回到故乡。这时国内局势仍然动荡不安。大业十二年（616 年）十二月，李渊迁任太原（治太原、晋阳两县，同在今山西太原西南古城营）留守，世民随往，不时带兵平乱，屡建奇功。