按正史记载，作为浴血沙场能征善战的将军，张辽当为曹魏阵营的第一人。《三国志》将张辽列为曹魏五大将之首。王歆更赞曰:“曹魏多名将，而张辽为第一。”
《三国志・张辽传》中曾提到张辽“本聂壹之后，以避怨变姓”。张辽的先祖聂壹，就是汉武帝时期著名的“马邑之谋”的始作俑者。
史载，在西汉元光元年（即公元前134年），雁门马邑一带的豪商聂壹出于对匈奴的熟悉和对西汉王朝边患不息的焦虑，通过人向汉武帝建议:和亲之后汉朝已经取信于匈奴，只要诱之以利，必定能将之击溃。
于是聂壹奉命以自身作饵，亲到匈奴阵营，向当时的军臣单于诈降，更称自己能斩杀马邑县令，迫使马邑举城投降，然后可尽得该城财物。
单于信其言，又贪其利，便立刻策划起兵。聂壹回汉后，以一名罪犯的首级讹称为马邑长吏之头，以示时机已至，引诱匈奴军深入重地。
汉武帝派出五位将军连同车骑步共三十万在马邑设伏。这五位将军是卫尉李广骁骑将军，太仆公孙贺轻车将军，大行王恢将屯将军，太中大夫李息材官将军，御史大夫韩安国护军将军。各位领军都隶属韩安国，约定在单于进入马邑时纵兵出击。
计划本来顺利进行，讵料单于走到左云一带时，发现城野之间只见牲畜，不见一人，于是起了疑心。他派兵攻下一个碉堡，俘虏了一名尉史。
该尉史揭穿了早已有三十多万汉军埋伏在马邑附近的真相，悉破阴谋的单于大惊退军，汉军设伏全无用武之地。“马邑之谋”亦以失败告终。聂壹一片丹心付于荒草，不但无功，还成了汉、匈两方都怀疑的人。为了避祸，他改姓为“张”。
三百年后，老张家有一个男娃出世了，他便是张辽。张辽年轻时，曾经做过郡吏。东汉末年，因其武力过人，被并州刺史丁原召为从事，并派他带兵到京城。后来又被大将军何进派去河北招兵买马，张辽回来时，189年，何进的势力已被消灭。
于是又归附董卓，后来董卓兵败，张辽又带着手下的将士们归附吕布，担任骑都尉。198年，吕布在下邳被曹操击败之后，张辽率部投降，被拜为中郎将、赐关内侯，并担任鲁相。后因战功被晋升为裨将军。
张辽归降曹操以后，跟从曹操转战南北，讨袁绍，平河北，征荆州，战孙权，屡立战功，与曹仁、夏侯渊、张A、徐晃被并称为曹操的五大良将。
曹操剿灭袁绍的势力后，派遣张辽管辖鲁国各县，并跟随夏侯渊剿灭东海的昌g，成功劝降。后随曹操去黎阳剿灭袁谭、袁尚联军，因战功而升为中坚将军。
曹操返许，命张辽和乐进攻下了阴安，再随曹操再攻下邺。更攻下了赵国、常山。205年，随曹操成功剿灭了袁谭，攻下海滨，并击败辽东的贼兵。张辽引军还邺城时，曹操亲自出迎张辽，更与张辽共载一车，并封张辽为荡寇将军。
接着张辽又率军攻打荆州，平定了江夏各县，在临颍屯兵，受封为都亭侯。207年，随同曹操进攻于柳城的袁尚，途中遇上乌桓军。