与前二者相比，杜伏威的出身最为贫苦，翟让是小吏，李密是世袭蒲山公，窦建德也算是个小土豪，杜伏威不同，他无财无势，是彻底的贫农出身。杜伏威的起义 与贫穷直接有关，杜家贫无以为生，他的好朋友辅公佑挺身而出，偷了人家的羊送给杜伏威。杜伏威不是圣人，虽然知道是贼赃，但为了生存，也就笑纳了。后来这 事泄露出去，官府追查得很严，当时正是天下大乱，老百姓纷纷造反，隋炀帝杨广情急之下，采用恐怖手段镇压，允许地方官对这些盗贼 生杀任情 ，偷羊不是什 么大事，但如果碰到酷吏，偷一文钱就能杀头，何况是偷羊。二人惧怕之下，干脆就不当良民，扯旗造反了。那是大业九年（613年）十二月，当时杜伏威年仅十 六岁。
两人就近参加了一支小起义军，刚加入时只是小卒，但杜伏威十分勇猛，出则居前，入则殿后，很快就取得了大家的尊敬和信任，被推 为首领，这是杜伏威势力的开始。江淮一带隋朝的力量比较强大，杜伏威意识到自己的小部队实力太弱，如果不尽快壮大就根本无法生存，于是努力寻找机会去联合 和吞并附近的其他起义军。比较典型的例子有两个，其一是下邳苗海潮，杜伏威派了辅公佑送信给苗，说力分则弱力合则强，如果你认为能力足够，我就投靠你；如 果你认为不如我，就来加入我。苗收信后，帅所部归降杜伏威。另一个例子是海陵赵破阵，赵的实力强过杜，派人到杜处招降，杜假意同意，只带了十几人去赵处投 诚并献上礼物，赵一向轻视杜伏威，认为他必然投降，因此毫无防备，结果被杜当场刺杀，辅公佑同时率领大队人马前来接应，赵部群龙无首，当场全部归降。实力 大增后，杜伏威自称将军，纵横淮南，江淮杜伏威的名字逐渐传扬出去。
大业十一年（615年）十月，东海李子通率所部万余人来淮南投靠 杜伏威。这个李子通也是隋末一家反王，起兵时是依附在长白山（山东境内）左才相手下，后来因为太得人心，被左才相嫉恨，只得离开长白山，这次到淮南其实有 些逃难的意味。李子通部的加入使杜伏威实力大增，杜伏威当然高兴，不料李子通也是个胸有大志不肯屈居人下的人，竟然突发兵变，意图吞并杜伏威的地盘。杜伏 威措手不及，全军大乱，杜本人在李部追杀下身负重伤，关键时刻，杜伏威的养子兼大将王雄涎背负他藏匿到芦苇丛中，侥幸躲过了追杀。这次兵变，杜伏威的势力 受到很大打击，从此与李子通结仇。
所谓祸不单行，趁杜伏威兵败，隋军也前来进攻，杜伏威此时正在养伤，无法指挥，结果全军大败，其部 将西门君仪的妻子勇敢而力气大，背着杜伏威夺路而逃，王雄涎领着敢死队拼命断后，杜伏威这才逃得一命。要靠女人背着逃命，其狼狈可想而知，这实在是杜伏威 一生中最黑暗的一幕了。唯一值得安慰的是，兵变的罪魁祸首李子通也没好下场，隋军在进攻杜伏威的同时也进攻了李子通，李部也大败，李子通领着残部逃往海陵 去了，到底也没能抢走杜伏威的地盘。对杜、李二人来说，这次火拼简直就是鹬蚌相争渔翁得利的绝妙注解，尤其李子通更是损人不利己，平白结下了杜伏威这个可 怕的大仇家，为以后杜伏威大举进攻李子通埋下了伏笔。
连续两次死里逃生，杜部伤亡很大，失去了称霸的实力，只好四处打游击，不断吸收 流民加入以扩充势力。经过半年的恢复，杜伏威又有了数万人的实力，并控制了江都附近的六合县作为根据地。与此同时，左才相往来淮北，李子通占据海陵，都有 数万兵力，江淮一带即以这三家起义军为首。大业十二年（614年）七月，杨广因北方多事，不顾群臣反对，离开长安前往江都巡幸。杜伏威部正好就在江都眼皮 底下，为了保障皇帝巡幸的安全，隋派出大将陈陵带八千精锐讨伐杜，陈、杜多次交手，毕竟陈部的训练和器械远强于杜，杜部连连失利。好在陈陵兵力不多，想剿 灭杜伏威也不容易，双方打成僵持。
十二月，杨广车驾到达江都，护驾骁果十余万人，声威赫赫。按理隋军应该军心大振，杜伏威难逃灭亡， 不料正是杨广的到达给了杜伏威崛起的机会。杨广是皇帝，到了江都自然要考察地方官的政绩，他的考察手段非常简单，专看谁的礼品珍奇，满意的立即升官，不满 意的统统没好下场，至于地方官真正的政绩如何，皇帝是没心情去理会的。有这么个皇帝，地方官们自然拼命地刮地三尺，敲诈百姓，所得之金银财宝除了孝敬皇 帝，自己的腰包当然也落了实惠。正巧当年是荒年，老百姓本来就已无以为生，再被官府如此压榨，终于造成了一场大饥荒。据记载，老百姓先是吃树皮树叶，后煮 土为食， 诸物皆尽，乃自相食。 自相食 这三个字在中国历史上其实多次出现，但像江都这样原本富庶之地，又是天子脚下，居然也会如此，那实在是少见 的。其实当时政府的粮仓里有足够的粮食可以救灾，杨广的父亲杨坚一直很重视国家的粮食储备，就是为了以防万一。如今万一出现了，可皇帝自己正在享受财富和 美女，根本不知道城外饿死人，地方官没得到命令，又有谁敢擅自开仓赈济灾民？
既然无法从国家那里得到赈济，老百姓就只有自己动手了， 杜伏威趁机吸收了大批手下，势力迅速膨胀。这时杜伏威与陈陵强弱之势已经倒转，于是主动向陈挑战。陈也知道战局不利，因此龟缩不出，任由杜伏威自己去耀武 扬威。杜伏威于是派使者给陈送了一套妇女衣裳，并送了陈一个外号叫 陈姥 。是可忍孰不可忍，陈大将军怒火中烧，全军出战。这一仗打得十分激烈，杜伏威亲 自上阵，不小心被一员隋将暗箭射中，杜伏威怒吼说 不杀汝，矢不拔！ 然后就像夏侯惇一样直冲过去，把那吓呆了的射手斩于马下。这种作战风格简直就是疯 狂，结果陈部士气大挫，被打了个全军覆没， 陈姥 单骑逃回江都去了。杜伏威趁势扩大战果，占据了高邮、历阳等重镇，并在历阳自称总管，封辅公佑为长史。
这时的杜伏威吸取了以前的教训，从部队中挑选最精锐的成员组成自己的卫队，称为 上募 ，兵力为五千人。杜把上募作为自己的子弟兵，平时非常宠爱，但要 求也非常严格，每作战必以 上募 为先锋，战后检查每人身上的伤痕，如伤在背后，即刻处斩，因为那表示其临阵退后。每次战胜，杜伏威都把抢掠到的资财赏给 全军，如果手下战死，就以死者的财产甚至妻妾殉葬，因此杜伏威所部皆为杜尽死力，人自为战，所向无敌。杜伏威号令所到之处，江淮间各路小起义军争相归附， 郡县纷纷投降，杜伏威的声望和势力不断扩大。