420年东晋北府军将领刘裕废晋自立，改国号为宋，占据南方地区。439年北魏太武帝拓跋焘统一北方，从此形成南北各自为政，相互对峙的局面。南朝历经宋、齐、梁、陈四个朝代，南朝经济文化十分繁荣，文人辈出，但军事实力却日益衰弱，领土逐渐缩小，最终在589年被来自北方的隋朝所统一。
南朝大多数是农耕民族，不善骑射，因此在与北方尚武的游牧民族的对抗中经常落于下风。除了刘宋王朝初年，依靠北府军的老班底，曾短暂压制北方外，之后的一段时间，南朝基本处于守势，几次北伐也都草草了事，未能对北朝政权构成真正的威胁。但有个一人是例外，他“射不穿札，马非所便”，却提孤军以少胜多，威震北朝。此人便是陈庆之。
陈庆之，字子云，484年出生，义兴国山人。陈庆之自幼就跟随萧衍，算是他的跟班吧。当时萧衍酷爱下棋，一玩起来就通宵达旦地和人对弈，其他人都感觉筋疲力竭，唯独陈庆之不睡觉。只要萧衍想下棋，他随叫随到，因此深得萧衍的信任。之后萧衍起兵谋取帝位，陈庆之被任命为主书，他散尽钱财，招集将士，帮助萧衍。
525年1月，北魏的徐州刺史元法僧表示要归降梁朝，萧衍便派遣陈庆之任武威将军，与胡龙牙、成景俊率梁军前去接应。完成任务后，陈庆之被任命为宣猛将军、文德主帅，奉命率两千人护送萧衍第二子、豫章王萧综入镇徐州。5月陈庆之会合其他几路军队，击破前来阻拦的北魏军2万。此后形势急转直下，6月豫章王萧综怀疑自己不是萧衍的儿子，叛梁归魏，引发梁军溃逃，魏军乘胜追击，梁军损失惨重。只有陈庆之斩关夜退，所属的部队无一损失。
527年10月，陈庆之跟随领军将军曹仲宗进攻北魏的涡阳。此时北魏派遣征南将军、常山王元昭率步骑15万来援，前锋已经抵达距离涡阳40里的驼涧。陈庆之认为“魏人远来，皆已疲倦，去我既远，必不见疑，及其未集，须挫其气，出其不意，必无不败之理”，率麾下二百骑击破援军先锋部队，魏军震恐。之后陈庆之与诸将，进逼涡阳城，与魏军对峙，双方“自春至冬，数十百战”。
梁军主将曹仲宗害怕被腹背受敌，想班师回朝。陈庆之慷慨陈词，“吾闻置兵死地，乃可求生，须虏大合，然后与战”同时利用萧衍给他的密诏，树立自己在军中的权威。最终涡阳一战，梁军大获全胜，北魏军死伤无数，涡水因为俘斩过多而断流，涡阳城主王纬乞降。捷报传到京城，萧衍非常高兴，下诏褒奖陈庆之“本非将种，又非豪家，觖望风云，以至于此。可深思奇略，善克令终。开门而待宾，扬声名于竹帛，岂非大丈夫哉！”
528年北魏发生内乱，尔朱荣发动河阴之变，杀死北魏王公宗室、朝廷大臣2000余人，北海王元颢南投梁朝，并请求萧衍出兵，帮助自己回国称帝。萧衍对此事并不热衷，但也感觉是个机会，于是派遣陈庆之率领7千人送其北还。
陈庆之率军从县出兵，进拔荥城，抵达睢阳城下。此地的守将是魏将丘大千，他手下有众七万，分筑九城。陈庆之二话不说便发起了攻击，“自旦至申，陷其三垒，大千乃降”。此时北魏派遣征东将军、济阴王元晖业率禁军二万人来援，占据考城。而考城四面临水，守备严固。对此陈庆之命浮水筑垒，最终攻陷其城，生擒元晖业，继续进军。
北魏也着了慌，北魏的左仆射杨昱、西阿王元庆、抚军将军元显恭率7万禁军，占据荥阳抵抗陈庆之。北魏兵精城固，陈庆之一时未能攻克。而此时的形势也发生了变化，北魏的援军前后继至，旗鼓相望，梁军军心动乱。陈庆之对全军发表演说“我等才有七千，虏众三十余万，今日之事，义不图存。吾以虏骑不可争力平原，及未尽至前，须平其城垒，诸君无假狐疑，自贻屠脍”。
梁军士气高涨，一鼓登城，攻破荥阳城。北魏援军赶到，陈庆之又率3千骑兵，大破北魏军。陈庆之乘胜进军，魏主元子攸逃奔并州，北魏的临淮王元、安王元延明率百僚，封府库，备法驾，迎接元颢入洛阳宫。陈庆之所部“自县至于洛阳，十四旬平三十二城，四十七战，所向无前”，当时陈庆之所部皆穿白袍，所向披靡，因此当时洛阳有首童谣：“名师大将莫自牢，千兵万马避白袍。”