大业七年（612年），东都法曹翟让犯了死罪，狱吏黄君汉钦佩翟让骁勇，以为他能拯救百姓，就暗中打开死牢门，将他放了。在东郡（今河南滑县）边界，有 一处山势特别险要，峰回坡陡，密林环抱。山上结着一个寨子，栅高垒固，称瓦岗寨，寨中正聚集着起义的农民。翟让亡命到瓦岗，被拥戴做了寨主。翟让的同乡单 雄信骁健勇猛，善用马槊，还有年仅17岁的徐世责力，先后率部投奔翟让，队伍很快发展到万余人。因为聚义瓦岗，所以称为瓦岗军。
杨玄 感兵败，谋主李密被捕，和其余十多名钦犯一起被押送东都。途中，李密等十余钦犯趁防守的人醉卧梦乡之机，凿墙穿洞，逃了出去。李密脱险后，为了躲避官府缉 捕，改姓易名，辗转山村，四处亡命。后来他往来于外黄王当仁、济阴王伯当、韦城周文举、雍丘李公逸等结寨聚义的群雄之间，鼓动他们下山取天下。李密在大业 十二年（616年）约了王伯当，投奔瓦岗寨。李密上山初，翟让因听说他是杨玄感的亡命将军而不信任他，把他软禁在营外。李密靠了王伯当的帮助，去见翟让献 策说： 如今昏君巡游江都，精兵集于辽东，这个形势如同过去项羽、刘邦奋起夺取天下的时机一样。足下雄才大略，瓦岗士马精勇，正可以席卷二京（长安、洛 阳），诛灭暴虐，成就灭隋大业。 翟让因此对李密刮目相看。
李密见瓦岗人马愈来愈多，而粮草供应不足，感到如果拖得时间太长，势必人马困疲，一旦强敌降临，就会涣然离散，于是向翟让又献一计，劝翟让下山夺取荥阳，养精蓄锐，然后大干一场。翟让称是。
荥阳历来是兵家必争之地，要隘虎牢关在郡境内。因此隋炀帝特派河南道讨捕大使张须陀为荥阳通守，全力对付瓦岗军。
李密部署翟让率兵从正面迎战诱敌，李密率精兵千余埋伏在荥阳北面的大海寺北密林中。张须陀一向藐视翟让，翟让且战且退，往北退了十多里，把张须陀的2万 人马引到大海寺。瓦岗军伏兵杀出，翟让回马杀回，和李密、徐世责力、王伯当一起围杀隋军。张须陀战死，隋军被歼1.5万余人。
紧接着，瓦岗军部署新战役。二月，李密、翟让带领7000名轻骑，兼程疾驰，一举攻克了洛口仓。进城后，立即打开粮仓，赈济百姓。消息传开，瓦岗义军声誉传遍四方。以文辞闻名海内的祖君彦也来投奔瓦岗军，李密把军中书檄全委托了他。
瓦岗军夺取洛口仓的消息传到江都以后，隋炀帝吓得魂飞魄散，不敢再回东都。驻守东都的越王杨侗，任命裴仁基为河南讨捕大使，与虎贲郎刘长恭各自领兵，夹 击瓦岗军。刘长恭所带之兵，皆为富家子弟，拖拖拉拉，走了11天，才渡过洛水，在巩县东南石沙子河西岸列阵，南北长达十余里。李密、翟让早有部署，陈兵于 石子河东岸，另有一部埋伏在横岭下。翟让先接战，不利。李密即指挥后队蒲山公营横冲官兵队阵，隋兵大败，刘长恭在混乱中换上士兵衣服，逃回了东都。裴仁基 失期未到，等听到刘长恭失败，吓得不敢前进，屯兵于巩县东南的百花谷，固垒自守。后来还屯兵于虎牢关。
瓦岗军威震中原，翟让感到自己 能力已不足继续领导，就让位给李密，奉李密为魏公。李密设坛场即位，组织行军元帅府，改元永平；拜翟让为上柱国、司徒、东郡公，单雄信为左武卫大将军，徐 世责力为右武卫大将军，其余都拜授官职，令他们各领本部。李密建立了独立政权，号令天下。孟让、郝孝德、秦叔宝、程咬金等各路英雄都络绎不绝地投奔瓦岗。 隋朝的官员裴仁基、柴孝和、郑颈等也闻风纷纷献城投降。著名骁将罗士信等也率众归顺了李密。因裴仁基献出虎牢关，李密封他为上柱国、河东公。当时 道路降 者不绝如流，众至数十万。 瓦岗军声威大震，成为隋末农民起义中最大的一支义军。
为了巩固基地，李密令田茂广筑洛口城，方40里，同时派房彦藻向东扩展，攻克了安陆（今湖北安陆）、汝南（今河南汝南）、淮安（今河南泌阳）、济阳（今山东曹县）。
经过几次反复激烈的战斗，瓦岗军又夺取隋朝另一大粮仓回洛仓，大修营堑，部署攻打东都。李密召集元帅府幕僚，命记室祖君彦草就了一篇讨伐昏君檄文，传檄 天下。檄文中声讨隋炀帝有十大罪状，并说： 罄南山之竹，书罪未穷；决东海之波，流恶难尽。 这后来成了千古传诵的名句。
这时李渊还 未入关，隋炀帝命监门将军庞玉、虎贲郎将霍世举率关内兵救援东都。柴孝和劝李密避其锋芒，自率精锐，乘虚入关，西取长安。李密认为这是他当年为杨玄感所出 的上策，但考虑到他的部下将士都是山东人，见洛阳还未攻下，就没人愿随从西进，未能听从柴孝和的计策。柴孝和非常惋惜，只得另献一计说，大军既然不能西 进，就由他先入关中联络群雄，看机会吧。李密同意了。柴孝和率数十骑入关，说动了关中群雄万余人，准备响应李密。不久，李密在作战中，中流矢负伤。官兵气 焰大张，庞玉、段达乘胜夜袭瓦岗军大营。
李密箭伤未愈，与裴仁基仓猝应战，大败，弃了回洛仓，撤奔洛口。柴孝和联络的关中群雄听到李密兵败，统统变卦散去了。柴孝和只得轻骑归返瓦岗军。
可李密这时却自以为兵强，想做天下盟主，叫祖君彦写了封信给李渊说明此意。李渊这时正一心经略关中，倒不图虚名，写了封回信假意表示拥戴。李密把李渊的信展示给诸将看，说： 唐公拥戴我，天下肯定是我的了。 从此他不再考虑西进了。
八月，武阳郡丞元宝藏派门客魏徵见李密上降表。魏徵字玄成，落拓有大志，出家做道士，学识丰富，很有名气。李密立即召魏徵为元帅府参军，掌记室，并任元宝藏为魏州总管。
这时，河南、山东发大水，饿殍遍野。隋炀帝诏命开黎阳仓（今河南浚县西南）赈济灾民，官吏不按时赈济，结果每天饿死的达数万人。徐世向李密建议说： 天 下大乱，本是由于饥饿。如今若能夺得黎阳仓，大事就可成功了。 李密当即就派徐世责力领本部5000人马，会合元宝藏、郝孝德、李文相等一举攻破了黎阳 仓，开仓济贫，远近农民纷纷投奔瓦岗军，10多天时间就得兵20余万。武安（今河南涉县）、永安（今山西霍县）、义阳（今河南桐柏）、弋阳（今河南横川） 相继投降。窦建德、朱粲也派使者来表示拥护。