西晋末年，皇族自相残杀，匈奴、羯等少数民族首领乘机起兵反晋，进入中原，形成混战割据局面。公元313“闻鸡飞舞”的祖 逖年，担任军咨祭酒的祖逖上书镇东大将军司马溶（后为东晋元帝），要求领兵北伐，收复中原。司马涫只想偏安江南，无心北进，但又不愿落下反对此伐的坏名 声，便封祖逖为奋威将军、豫州刺史，仅给了他1000人的口粮和3000匹布，让他自行招募士兵、制造兵器。祖逖毫不气馁，他从同来避难的部曲中挑选了 100余家，毅然渡江北进。船到江心，祖逖遥望中原烽火，感慨万千，他敲着船楫发誓道：不收复中原，绝不回渡！“”这一典故，就来源于此。
渡江之后，祖逖率众屯驻淮阳。在这里，他一面发动大家赶造兵器，一面招募士卒，扩大队伍。经过一番努力，祖逖在原来部曲乡勇的基础上又招募2000余 人，组织起了一支新军。当时，豫州地区主要有两股武装势力：一是羯族首领石勒，他以襄（今河北邢台）、邺（今河北磁县南）为中心，占领大片土地，时常兴兵 南下；二是当地流民所建立的坞堡组织，他们各自为战，以求存自保为目的。祖逖北伐，主要任务是阻止石勒南下。但他清醒地认识到，要阻止石勒南下，首要的是 必须联络或征服各地坞堡，扩大势力，控制兖、豫各郡县。
公元317年，祖逖挥师进驻芦州（今安徽亳州东），派人劝说谯城（今亳州）坞 主张平、樊雅归附。因使者言行失当，被张平所杀。祖逖被迫挥师攻城，但数次强攻不成。于是，祖逖及时变换策略，用“离间之计”诱劝张平部将谢浮倒戈。谢浮 利用与张平共商大计的机会，杀死张平，率众归附了祖逖。接着，祖逖联络南中郎将王含及蓬陂（今河南开封附近）坞主陈川，对樊雅发起全面进攻，很快使樊军陷 入进退不得的被动地位。在“兵战”的同时，祖逖又展开“心战”，派人劝说樊雅投降。樊雅因军事失利而一筹莫展，听了劝导之后豁然醒悟，很快便举城请降。谯 城一破，周围各坞主都争相前来归顺，整个豫州很快平定。
平定豫州之后，祖逖便乘势向兖州推进。这时，当地较大的坞堡势力蓬陂的坞主陈 川无端怀疑祖逖分化他的部属，杀了受到祖逖奖赏的部下李头（攻打谯城有功），引起部下倒戈，有很多人自动投靠了祖逖。陈川一怒之下，大掠豫州诸郡，并率兵 投降了石勒。石勒派勇将石虎率兵5万前来救援。在浚仪（今河南开封），祖逖通过“设伏兵、摆奇阵”等战法，大败石虎。石虎撤回襄国，留部将桃豹守蓬陂。随 后，两军在蓬陂一带各据一隅，对峙许多天，双方的粮食都即将用尽。这时，祖逖亲临前线，又出奇计。他令部下用许多口袋装土，派1000多名士兵运到蓬陂以 东的西台，又派人用同样的口袋装米，假装疲劳在路旁休息，故意诱使桃豹部下将米抢走，使敌军误以为晋军粮食充足。与此同时，他派人设下埋伏，把石虎用 1000多头驴运来支援桃豹的粮食全部截获。这一下，桃豹慌了手脚，连夜逃回黄河以北。随后，石勒设在黄河以南的据点大都投降祖逖，留在北方的晋将李矩、 郭默、赵固等人也都表示愿意听从祖逖指挥，黄河以南失地绝大部分为祖逖收复。
正当祖逖准备渡河北进，完成统一大业之时，司马派戴渊为征西将军，都督黄河南北六州军事，以牵制祖逖北伐。祖逖大失所望，忧愤成疾，于公元321年含恨去世。