一、自建劲旅屡败强敌
谢玄从小就聪颖过人，特别受到谢安的宠爱，无论到哪里都要带上他。谢玄小时候喜欢佩带紫罗香囊，谢安对此很是担心，于是便在一次做游戏的时候设法把香囊取到手烧掉了，并劝说他以后别带这种东西。谢玄很听谢安的话，从此没有再佩带这一类物什。
谢玄长大后，显示出超凡的治国才能，朝廷几次召用他，他都推辞不受。后来他在大将军桓温手下做事，不久任征西将军桓豁的司马、领南郡相、监北征诸军事。
当时前秦皇帝苻坚特别强盛，称霸一方，不止一次侵扰晋的边境。东廷商议要挑选一位能够防御北方的良将，争论了半天也找不出胜任之人，这时谢安推荐谢玄，中书郎郗超也称谢玄确有将帅之才。于是朝廷即刻征召谢玄回来，任他为建武将军、兖州刺史、领广陵相、监江北诸军事，镇守广陵（今江苏扬州）。谢玄领命上任后，仔细分析了当时的形势，然后，招募勇士，组成“北府兵”。他所招募的人多是从北方逃来的农民，这些人背井离乡、历尽磨难，有北上抗敌、重返故乡的强烈愿望。经过一段时期的严格训练，成为一支能征善战的劲旅。
太元三年（378）二月，苻坚派军攻打襄阳（属今湖北省），谢玄发兵前往救援，但兵到之时襄阳已被攻破。苻坚又派大将彭超带兵七万围攻彭城（今江苏徐州），谢玄带军一万余人急速赶去迎救，解了彭城之围。次年，秦将彭超、句难又带兵南侵，相继攻陷盱眙（今属江苏）和淮阴（今江苏清江）两地，朝廷为之震动。秦军又集六万之众围攻三阿（今江苏宝应），谢玄奉命从广陵出发北上拒敌，在白马塘（湖名，在今江苏宝应西北）与秦军展开激战，大破敌军，于是解了三阿之围。谢玄乘胜进军，两败秦军。此次作战之后，朝廷论功封他为冠军将军，加领徐州刺史，封东兴县侯。
二、淝水之战留名史册
苻坚虽然遭到挫折，但灭亡东晋、统一天下之志丝毫未动。太元八年（383）八月，苻坚率87万军众从长安起兵，开始了中国战争史上规模空前的南伐战争。诸路军马水陆并进，声势浩盛空前。