李渊占领长安的同时，各地起义军也不断发展壮大。除了瓦岗军之外，主要的还有窦建德领导的河北起义军和杜伏威领导的江淮起义军，不断在各地打击隋军。残暴荒淫的隋炀帝自己知道末日来到，索性躲到江都，每天和皇后、妃子喝酒作乐，醉得昏昏沉沉。
他不愿听到失败的消息，但是心里到底发慌，对萧皇后说：听说外面有不少人想算计我，且别管他，还是快快活活喝酒吧。
有一次，他拿起一面镜子，呆呆地照了半晌，说：好头颅，不知道谁来砍它呢！
隋炀帝担心的日子终于到来了。他身边的一批禁卫军兵士，多数是关中地区的人。他们眼看跟着隋炀帝没有生路，都想开小差回家。将军宇文化及利用兵士想回家的心理，发动兵变。宇文化及带领兵士，攻进行宫，派人把隋炀帝监视起来。
隋炀帝对监视的官员说：我犯的什么罪？
官员说：你发动战争，穷奢极侈;相信奸邪，拒绝忠告;使男子死在战场，妇女儿童走上绝路，百姓流离失所，你还说没罪吗？
隋炀帝说：我确实对不起百姓，但是你们这些人也跟着我享受富贵，没对不起你们。今天这样做，是谁带的头？
官员说：全国的人都恨透你这昏君，哪儿是一个人带的头！
隋炀帝这才无话可说，他自己解下巾带交给官员。这个作恶多端的统治者就这样被勒死了。统治中国三十八年的隋王朝宣告灭亡。
隋炀帝死后，东都洛阳还在隋朝的东都留守杨侗（炀帝的孙子）和大臣王世充手里。王世充把杨侗立为皇帝，继续打着隋朝的旗号，对抗起义军。
东都周围本来是瓦岗起义军活动的地区，李密曾经多次打败隋军，但是因为李密骄傲自满，跟将领们互相猜忌，在跟北上的宇文化及人马打了一仗之后，力量渐渐削弱。王世充看准李密的弱点，发起一次袭击，打垮了李密大军。李密带着残兵败将，逃到长安投靠唐朝。
王世充赶跑了李密，自以为力量强大，把杨侗废了，自立为帝，国号叫郑。
这时候，唐军已经削平了西北的几个豪强割据势力，稳定了后方。公元620年，唐高祖派李世民统率大军进攻东都。李世民大军一出关，河南许多州县纷纷投降，很快就把东都包围起来。
李世民不但善于打仗，而且善于用人。他从原瓦岗军和别的割据势力的降将中，收留了一批人。像有名的秦叔宝、程咬金、尉迟敬德（尉迟是姓，尉音yù，都成了他的得力助手。有一次，李世民亲自带了五百骑兵在阵地上巡视，被王世充发现，发动一万多步兵骑兵突然围上来，王世充的大将单雄信冲到李世民身边，用长矛直刺过来。李世民后面的尉迟敬德飞马赶上，大喝一声，把单雄信刺下马来。尉迟敬德保护李世民突出包围，两个人又带着骑兵转过身在郑军阵地来回冲杀，吓得郑兵不敢阻挡。接着，后面的唐军源源不绝地上来，把郑军打得一败涂地。
从这年秋天一直到第二年春天，唐军把东都越围越紧，日夜不停地攻城。王世充在城里严密防守，不断用石炮、弩箭袭击城外唐军。日子一久，唐军将士也感到疲劳，有人向李世民建议暂时停止进攻，回长安休整后再打。
李世民说：现在四周各州都已经投降，洛阳成了一座孤城，迟早可以攻下，怎么能半途停下来。接着就向将士发出命令说：不攻下东都，决不退兵。
王世充被逼得走投无路，只好派人偷偷地出城，赶到河北向窦建德求救。
窦建德领导的起义军是河北一支强大的力量。王世充自称郑帝以后，窦建德也自称皇帝，国号叫夏，攻占了唐军许多土地。他接到王世充的求救信，一面带领三十万人马，水陆并进，援救东都;一面派出使者给李世民送去一封信，要李世民退回关中。
唐军许多将军都被夏军的强大兵力吓得害怕了，主张暂时离开东都。但是有人认为王世充兵力还很强，缺少的是粮食。如果让窦建德跟王世充两军会合，用河北的粮食接济东都，那末胜利就没有希望了。
所以，一定要把南下的窦建德大军堵住。
李世民接受了这个意见，把李元吉留在东都继续围攻王世充，自己带三千多精兵北上，扼守武牢关（就是虎牢关。在今河南荥阳汜水镇）。