李渊山生在隋王朝的一个贵族家庭，他的祖父李虎是西魏和北周最高军官八柱国之一，死后追封唐国公，他的父亲也是北周时的柱国大将军。李渊的母亲与北周明帝皇后和隋文帝皂后是亲姐妹。李渊幼年丧父，7岁便继承了唐国公的爵位。隋取代北周后，15岁的李渊被任命为隋文帝的贴身侍卫官，开始了他的政治生涯。
公元617年，隋炀帝派他到军事重镇人原去当留守（官名），镇压农民起义。尽管李渊镇压农民起义很卖力气，但是隋炀帝还是不信任他，派自己的心腹王威、高君雅做太原副留守来监视他。当时反隋的农民起义不断爆发，李渊和他的二儿子李世民分析当时的形势，认为隋朝的统治不会长久，只有趁天下大乱的机会，夺取政权，才能保住家族的地位和利益。
同年，李渊父子在太原起兵，杀掉太原副留守王威、高君雅，迈出了兴唐灭隋的第一步。随后，李渊做出了富有政治远见的重大决策：他派人出使突厥议和，表示愿意永远结为盟好，并请求出兵协助伐隋。这不仅消除了他挥师南下的后顾之忧，还得到外来的援兵，壮大了自己的声势。进而他又招募兵员，制造弓箭，蓄养马匹，积极扩大自己的武装力量。
与此同时，李渊广泛利用自己的社会关系和政治地位争取各界人士的支持，获得了人力、物力、财力的巨大援助。在短短的120多天内，李渊便占领了关中，攻下了长安。
李渊攻进长安以后，本可以立即称帝建国，但他没有这样做，而是从有利于兴唐灭隋的战略角度，卜分机智地处理各种复杂的问题，又一次表现了他的远见卓识。李渊立隋炀帝的孙子，13岁的代王杨侑（y6u）做皇帝，就是隋恭帝，尊当时在江都的隋炀帝为太上皇，自己做大丞相。这样，他既取消了隋炀帝的帝位，又可以利用杨侑这块招牌去招降隋朝的文武官员，把全部大权操纵任自己手里。
618年隋炀帝死后，李渊废掉隋恭帝，改国号为唐，自己当上了皇帝，称为唐高祖，定都长安。经过一段时间的东征西讨，终于统一了天下。