公元604年（隋文帝仁寿四年），杨广弑父杀兄登基执政后，又穷兵黩武征伐高丽，并大兴土木，修宫殿，凿运河，修驰道，把社会经济推向绝境。史称黄河之北，则千里无烟;江淮之间，则掬为茂草。广大人民百姓困穷，财力俱竭，安居则不胜冻馁，死期交急，剽掠则犹得延生，于是始相聚为群盗，最终演变为全国各地风起云涌的农民起义。
在山西，公元615年～617年（大业十一年至大业十三年）之间，农民起义达到高潮，先后有六七支起义队伍转战各地。在山西南部，有毋端儿起义军，众至数千人，曾进攻龙门县（今山西河津市）;有敬盘陀领导的绛郡（治今山西新绛县）起义军，众至数万人。在山西中部，有甄翟儿领导的历山飞起义军，多次进攻太原。在此形势下，公元615年（大业十一年），隋炀帝任命李渊为山西、河东慰抚大使，命其剿灭活跃在今山西地区的起义军。
李渊（566年～635年），字叔德，自称陇西狄道（今甘肃临洮县）人。祖父李虎，西魏时官至太尉。父李\，北周时历官御史大夫、安州总管、柱国大将军，隋时封为唐国公。李渊7岁袭封唐国公。入隋以后，因其姨母是隋文帝的独孤皇后，深受重用，曾任淮、陇、岐三州刺史，荥阳（今河南郑州市）、楼烦（今山西静乐县）二郡太守。后被召为殿内少监，迁卫尉少卿。隋炀帝即位后，因社会上流传着李氏当为天子的谶谣，对李姓高官多所猜忌，但李渊通过纵酒沉湎，纳贿以混其迹，表示自己胸无大志，免遭厄运。
李渊到河东后，先后击败了甄翟儿、毋端儿、敬盘陀等人领导的起义军，得到隋炀帝赏识。公元616年（大业十二年）初，李渊被任命为太原道安抚大使，并拥有黜陟选补郡文武官、征发河东兵马的特权。七月，隋炀帝南下江都（今江苏扬州市）前，任命李渊为太原留守，另派王威、高君雅为副留守，让他们监视李渊。
此时，全国的政治格局已发生大的变化，农民起义军已基本摧毁了隋王朝的统治力量，隋朝的官僚地主也纷纷打起反隋的旗帜割据一方。太原乃天下精兵处，隋自建国以来，对晋阳城军需物资的储备一直十分重视，经多年的积蓄，城中已是府库盈积，太原粮饷可支十年。所以，李渊被任命为太原留守后，私窃甚喜，他对次子李世民说：唐固吾国，太原即其地焉。今我来斯，是为天与，与而不取，祸将斯及。在镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力。李渊父子还广结豪杰之士，网罗各种人才。史称李渊素怀济世之略，有经纶天下之心。
接待人伦，不限贵贱，一面相遇，十数年不忘。李世民在晋阳密招豪友，一技可称，一艺可取，与之抗礼，未尝云倦，倾财赈施，卑身下士。晋阳令刘文静、晋阳宫监裴寂皆为李世民的密友，也是李渊父子晋阳起兵的主要谋士。李渊长子李建成也在河东暗中交结英俊，发展势力。
正当李渊及其子李世民、李建成与晋阳令刘文静谋举大事时，公元617年（大业十三年）二月，李渊治下驻马邑（今山西朔州市）的鹰扬府校尉刘武周发动兵变，杀死马邑太守王仁恭，据马邑而自称天子，国号定杨。三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。炀帝闻讯后大怒，要提李渊到江都治罪。在此危急情势下，李渊对李世民说：事急矣，可举事。其周围的心腹裴寂、许世绪、武士u等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，旬日之内募集到数千人。随后，李渊派人往河东召回其子李建成和李元吉。
太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊有异志，便密谋骗李渊父子到晋祠祈雨，除掉李氏，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。五月十五日，李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。
五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻名正言顺地命人将两人推出斩首。同时，李渊又设下空城计，开诸城门，吓退了突厥的军队。接着，李渊开始作起兵反隋的准备工作。