东晋建国初期，以长安为中心的中原地区，被匈奴人占据。祖逖就把赶走匈奴，收复中原做为自己的奋斗目标，但以元帝司马睿为首的朝 廷却对收复中原不积极，祖逖便主动向元帝请战。态度之诚恳，言辞之激烈，使元帝不得不答应祖逖的请求，任命他为奋威将军、豫州刺史，只拨给1000人的粮 食和3000匹布，人马武器得自己想办法解决。
艰苦的条件和司马睿的冷漠态度，都没有动摇祖逖的决心。元帝分明是敷衍了事，祖逖并不 在乎，立即返回京口，招兵买马。百姓们听说要收复中原，统一晋国，踊跃报名参军。祖逖又买了10条大船，临行之时，他立在船头，对送行的父老乡亲们说： “我祖逖要是不能平定中原，当葬身大江之底……”兵士们听罢，深受感动，群情激奋，表示誓死跟随祖逖，收复中原。
祖逖将队伍驻扎在淮 阴（今江苏省清江），继续招兵买马，赶制兵器，训练兵士，很快发展成一支由2000人组成的精兵强将的队伍。此时的中原地区，许多地主武装设立了坞堡，各 霸一方。祖逖对待这些人，采取不同的策略，能联合便联合，没有联合余地的坚决打击。短时间便收编了4个坞堡的兵力。
蓬陂（今安徽省涡 阳西北）坞主陈川，有较强的势力，又与石勒关系不错，当祖逖派人招抚他时，他采取阳奉阴违的手段，与祖逖为敌。陈川的部下冯宠带领400人投奔祖逖，这可 惹怒了陈川，亲自率领数百人疯狂抢掠祖逖驻扎的豫州郡县，抢劫了许多车马子女，但是到半路又被祖逖派人截回。
祖逖下令，将截回来的子女车马，全部物归原主，不得私留半点。老百姓异常感动，交口称赞祖逖的北伐军。
陈川逃回蓬陂，写信向石勒求救，石勒派石虎带领五万人马支援陈川。敌众我寡，祖逖决定智取。这一天，祖逖派部将卫策带领1000骑兵来挑战石虎，石虎见 状哈哈大笑，认为祖逖不自量力，遂率兵5万出城迎战。卫策只与石虎战了5个回合，便说：“你人太多，待我回去叫一支人马再来与你决战！”说完调转马头就 跑，石虎高举双锤，统领大军紧紧追赶，大约走了十几里路，进入一条峡谷，卫策的兵马不见了，石虎感到奇怪，正在这时，山上一声炮响，接着飞箭如蝗，射向石 虎大军，祖逖大军从山上扑下，喊杀声响彻峡谷。石虎军队只有挨打的份儿，没有进攻还击之力，一会儿工夫死伤大半，石虎、陈川等人只领着七八百人逃走了。
这一仗，大长了祖逖军队的士气，一些坞主陆续前来归顺。二年多时间，祖逖收复了黄河以南的大部分土地。这些地区的老百姓，有一种被解放的感觉，有人做诗赞颂祖逖的功劳。
在极端困难的条件下，祖逖领导的北伐军，同占有绝对优势的敌人苦战了4年多，终于收复了黄河北面的大片失地；北伐军也由小到大，越战越强，发展成为一支使石勒的军队不敢窥视河南的劲旅。
祖逖在河南各州郡的影响及其势力的迅速发展，使石勒望而生畏，主动和好。利用“和好”这一有利时机，祖逖积极发展生产，加强整备，为北击匈好，恢复整个中原做准备。
大兴四年，公元321年7月，祖逖正准备进攻河北，扩大战果，谁知朝廷却派戴渊督领豫州之事，这戴渊没有收复中原的志向，虽然有些才能，但为人气量狭小，是个没有作为的人。祖逖提出的种种计划都不免受到戴渊的阻挠而不能实现。祖逖心中郁闷成疾，心力交瘁，猝然发病。
在这种情况下，祖逖仍然图谋进取。他抱病修缮虎牢城，虎牢北临黄河，西接成皋，地理位置极其重要。祖逖担心城南容易被人攻破，特地委派自己的从子祖济率领众人修筑营垒。不幸，祖逖病情急剧恶化，于大兴四年秋，带着满腹遗恨而死，终年56岁。
祖逖逝世的消息一传出，黄河两岸许多地方的人民伤心地放声痛哭。祖逖死后，王敦之乱兴起，东晋的北伐中止。