在赵国，李牧其实不是一开始就是一个出名的将军，和廉颇一样，他们都是从最底层的士兵做起的，凭借着无数的军功，才一步步成为将军。早期的李牧只是赵国北边边境的一个小将，担负着守卫赵国的疆土的重任。
那时候的赵国还是赵惠文王统治时期，赵惠文王是一个知人善任的君主，在位期间文有蔺相如、平原君赵胜，武有廉颇和赵奢，使得秦国不敢攻打赵国。秦国虽然不敢赵国，但是精悍的匈奴军队却一次次的侵犯赵国边境。李牧还是一个二十岁出头的小子，投身军营后就一直驻守在代地的雁门郡。
雁门郡是赵国北边的边境，和匈奴相接，雁门郡的赵国百姓常常受到匈奴军队的袭击。不管是雁门郡的士兵还是百姓都视匈奴人为恶魔，因为他们每次交战，赵国人都会受到很大的伤害。匈奴人擅长马背上作战，下马是民，上马就是兵，其行军灵活，作战更是勇猛。赵国人虽然强壮，但是都不敌匈奴军队，往往是依靠人数众多侥幸胜利，否则就是大败。多年来，匈奴和雁门郡的关系都十分紧张，战事说爆发就爆发，不带一点征兆的。
最初的李牧只是驻守边疆的一个小小士兵，在多次和匈奴的作战中，李牧表现突出，立下了很多战功，渐渐的就升级了，最后还成为了统治管辖雁门郡的最大的将领。赵国在赵武灵王时期实行了“胡服骑射”的改革，赵国学习胡人的服饰和骑射本领，还建立了一支强大的赵国骑兵队伍，战斗力非常高。经过多年的发展，赵国强大起来，成为了替代齐国的第二个强国，能够和秦国平起平坐。雁门郡这个地方，说大不大，说小也不小，关键它属于赵国的边境，有很重要的意义。朝廷很重视雁门郡，也知道匈奴经常攻打雁门郡，为了防备匈奴，朝廷分配了很多军备物资给雁门郡。
李牧在雁门郡是最大的官，拥有的权力也很大，他甚至可以按照雁门郡的实际需要设置官员，还可以按照自己的意愿分配雁门郡征收的税款。由于雁门郡的好东西实在太多了，物资充备的雁门郡的军队的待遇也不是一般的好。李牧每天都要让人杀几头壮牛，将这些牛煮熟，分给雁门郡的将士们食用。将士们吃得好，睡得好，训练强度和往常一样。骑马、射箭、侦查敌情等等，一天都没有落下。但是有一件事令将士们感到奇怪，那就是他们的将军李牧每天好酒好肉的招待他们，却从来不要求他们和匈奴打仗。他们是驻守雁门郡的将士，一个个都是血性男儿，匈奴经常骚扰赵国百姓，他们身为赵人，自然是想要和匈奴一战，为同胞们报仇的。可是天天窝在雁门郡内算怎么回事啊，郁闷死了！可是李牧不管这么多，他甚至还下令说，如果匈奴来犯，赵国士兵见到了就立马撤退回城，谁要是敢去攻打匈奴的，按照军法处置，斩首示众。因此，每次匈奴军队来了，大家就鸣锣收兵，久而久之，所有人都认为李牧是个胆小鬼。但是，李牧在任的这些年，雁门郡的损失确实小了很多，可以说没什么损失。可是，事情传到了赵王的耳朵里，他同样认为李牧是个懦夫，还撤了李牧的职，派其他人代替李牧出兵。可是赵军对上匈奴，就只有挨打的份，损失了很多兵不说，百姓们也受了很多苦。受到教训的赵王这才想起李牧来，他几次三番求助李牧，最后答应李牧，他想怎么来就怎么来，他再也不多嘴了。
来到雁门郡的李牧还是和往常一样，见到匈奴就跑。匈奴认为李牧胆小，更加得意忘形，赵军们却期待与之一战，斗志高昂。李牧见时机成熟，就挑选了一千三百辆战车和战马，还训练了冲锋兵五万、射手十万人。匈奴攻打赵军，李牧假装害怕，直接丢了五千人左右给匈奴，让匈奴更加相信赵军害怕。轻敌的匈奴大军遇到了李牧从左右两翼包抄的军队，匈奴十万人几乎全军覆灭。匈奴经此一战，十多年都不敢攻打赵国。
除了在对战匈奴方面立下功劳，李牧对抗秦军王翦的时候，还大败王翦，令秦国始终无法攻破赵国。