京口是从北方各地流亡来的士族和民众聚居的地方，号称“北府”，与历阳同为扬州重镇。京口的居民风俗强悍，敢于从军，当辅政，推举谢玄为大将，谢玄 在京口招募士兵时，就征得勇士刘牢之等人。刘牢之常常率领精锐前锋，冲锋陷阵，战无不胜，号称“北府兵”。淝水大战，苻坚军崩溃，晋军前锋5000人，全 是刘牢之统帅的北府兵。后来，北府兵又在京口招募军队，见前来应募的刘裕身材魁梧、相貌堂堂，就把他留在北府兵当了一个小军官。
399年，刘牢之攻打农民起义军孙恩，刘裕勇敢善战，屡立大功。刘牢之的部下，大多抢掠财物，比盗贼更利害。只有刘裕严格约束部属，纪律严明，大得民心。从此，刘裕成为北府兵的著名将领，消灭孙恩、卢循起义军，主要是刘裕的功绩。
400年左右，桓玄篡晋。这为刘裕灭晋、创建南朝提供了一个绝好的机会。桓玄，东晋大将桓温的少子，从小便承袭爵位为南郡公，长大后，相貌俊朗，并且多 才多艺、尤擅作文。但是，他总以为自己的才学和门第举世无双，待人十分傲慢，因而引起众人的不满，朝廷也疑而不用。直到23岁，桓玄才被任命为太子洗马， 后来转任义兴太守，总是郁郁不得志。于是，忿然拂袖弃官，返回荆州南郡（今湖北江陵）的封地。
400年3月，桓玄占领荆、雍二州，上 表要求统领荆、江二州，朝廷授与他管辖荆、司、雍、秦、梁、益、宁七州的军事，兼荆州刺史，令桓修为江州刺史。桓玄不从，再上书，朝廷迫不得已只得让他管 辖八州。他还让他兄长桓伟作雍州刺史，让他侄子桓振作淮南太守，朝廷都不敢不答应。
桓玄在控制了中、上游后，以为已经握有东晋天下的 三分之二，具备了左右局势的实力。年末，决定起兵讨伐桓玄。401年初，司马元显派北府都督刘牢之为前锋，但在桓玄策动下，刘牢之再度倒戈。桓玄势如破 竹，得以顺利地攻进建康，捕杀了司马元显等人。从此，桓玄安排自己的心腹和亲信，占据了各个重要的城镇要塞，一步步向最高权力逼近。
桓玄任命自己为总百揆、都督中外诸军事、丞相、录尚书事、扬州牧等，集许多大权于一身；又将一些重要职权任命给桓氏家族中的桓伟、桓谦、桓修、桓石生等 人。接着，将刘牢之改任为会稽内史，把他的北府兵权收归已有。这时，刘牢之才觉得上了当，便与同人商量占领江北，与桓玄对抗，有人指出：“你一个人既反王 兖州，又反司马郎君，还反桓公，到底想要怎么样？”刘牢之无言以对，众人一哄而散。刘牢之无奈，派人到京口去接家人，却又久久不见回来，以为出了事，便带 着手下向北逃，到了新州，发现大势已去，就上吊自杀了。
对桓玄篡晋的行为，刘裕全部看在眼里。当时，跟着刘牢之的时候，他心里就在盘 算着如何复兴晋室了。他背地里联合地府兵的中下级军官，密谋推翻桓玄。当一切准备停当以后，他从京口起兵，向建康进军。桓玄赶紧派兵阻击，却被刘裕打得大 败，被迫撤出建康并带走晋安帝。刘裕乘胜追击，桓玄在江陵聚集了大批人马，再次反扑。峥嵘洲（今湖北鄂城）一战，桓玄惨败。桓玄本人也在逃跑途中被杀。
刘裕大败桓玄以后，把晋安帝接回建康，使之重登皇帝宝座。此时，刘裕已经成为了重建东晋皇朝的大功臣。晋安帝令他都督军事，坐镇京口和徐、青二州。过后，又任命他为扬州刺史并兼代理尚书，出兵讨伐北方的南燕和后秦。
南燕是鲜卑人建立的政权，统治范围在今山东一带。它的首领慕容超常常派兵骚扰东晋北部边境，掠走人民去当奴婢，甚至拿掳去的人当礼物，送给后秦等国的统 治者。东晋北部的人民，早就盼望着讨伐南燕。刘裕亲自带兵从建康出发，渡过淮河、泗水，很快就拿下了琅邪（今山东临沂北）。
慕容超派 人向后秦求救。后秦皇帝姚兴派使臣到刘裕那里进行威吓说：“我们已经派出10万铁骑，马上就要到达洛阳；你们如果不退兵，我们将直捣你们的建康！”刘裕回 答说：“我本想在消灭南燕之后，休息3年，再来平定你们占据的关、洛之地（今陕西、河南部分地区）；而今你们自己送上门来，那就快点来吧！”姚兴原想吓唬 一下刘裕，想不到刘裕口气很硬，反倒被吓住了，不敢来救南燕。刘裕很快就攻下了南燕的都城广固（今山东益都西北），生擒慕容超，灭了南燕。
6年之后，刘裕乘姚兴刚死，太子姚泓即位不久的大好时机，亲自统帅五路晋军，讨伐后秦，晋军要经过北魏管辖的地区。北魏在黄河北岸集结了10万大军，又 派出几千骑兵渡过黄河，骚扰西进的晋军。刘裕派水军上北岸去打魏军，魏兵就逃，等晋军回到船上，他们又在北岸骚扰，弄得晋军来回奔跑，没法顺利进兵。
刘裕从容对阵，他派了一个将军带了七百兵士、一百辆兵车登上北岸，沿岸摆开一个半圆形的阵势，两翼紧紧靠着河岸，中间鼓出，当中的一辆兵车上竖了一根白羽毛。因为这种布阵形象像个月钩，所以名叫“却月阵”。
魏兵远远观察着晋军的布阵，不懂是什么意思，也没有敢动。一会儿，只见晋军中间车上有人举起白羽毛，两侧就涌出了二千名兵士，带着一百张大弓，奔向兵 车。魏兵看看这个阵势，也没有什么大不了，就集中三万骑兵向河岸猛攻晋阵。晋阵上一百辆兵车上的弓箭齐发，仍旧挡不住魏兵。
没料到晋 军在却月阵后面，另外布置好一千多支长矛，装在大弓上。这种长矛约有三四尺长，矛头特别锋利。魏兵正向晋军猛攻的时候，晋军兵士们就用大铁锤敲动大弓，那 长矛往魏军飞去，每支长矛就能射杀魏兵三四个，三万名魏兵一下子就被射死了好几千。其他魏兵不知道晋军阵后还有多少这种武器，吓得抱头乱窜，全线崩溃。晋 军又乘胜追击，杀死了大批魏兵。
刘裕打退魏军，打通了沿黄河西进的道路，顺利西进。那时候，王镇恶和檀道济带领的步兵，已经攻下洛阳，在潼关和刘裕水军会师。接着刘裕派王镇恶攻下长安，灭了后秦。
刘裕在长安住了两个月，他怕自己离开朝廷太久，大权旁落，决定立即回师建康。在他离开长安那天，关中的父老流着眼泪挽留他，希望他继续留在北方抗击鲜卑、羌等族的骚扰。
刘裕回到建康，东廷拜他做相国，尊他为宋公。他看到夺取帝位的时机已经成熟，就在420年，把晋朝的末代皇帝恭帝司马德文废掉，自己做了皇帝，改国号为宋，东晋灭亡。中国南方地区进入南朝时期。