早年经历
张绣是骠骑将军张济的侄子。边章、韩遂在凉州作乱之时，金城的L胜袭杀祖厉长刘隽。张绣当时为县吏，不久就寻找机会刺杀了L胜，本郡的人都认为他很讲义气，于是张绣招合少年，成为本地豪杰。
初平三年（192年），董卓被吕布所杀，张济与李唷⒐汜等人进攻长安，为董卓报仇。张绣跟随张济，以军功升至建忠将军，封宣威侯。
雄踞宛城
建安元年（196年），张济因军中缺粮，自关中引兵入荆州界，与刘表交战，攻穰城，中流矢而死。
张绣接管了他的部队，收兵退出穰城。荆州官员知道后皆向刘表祝贺。刘表却说：“张济因穷途末路而来，我作为主人却如此无礼，这并非我的本意，故我只受吊唁而不受祝贺。“之后，刘表又派人招诱张济的余部，其众闻讯而大喜，尽皆服从。刘表于是安排张绣屯兵于宛城，张绣成为刘表在北方的藩属势力，替他抵御外敌。
会战曹操
建安二年（197年），曹操南征，部队到达U水，张绣率众投降。曹操纳了张济的遗孀邹夫人，张绣因此怀恨曹操。曹操听说张绣不高兴，就秘密准备杀掉张绣。结果计划泄漏，张绣偷袭曹操，曹操战败，长子曹昂，侄子曹安民被杀，猛将典韦战死。张绣引兵追击，被曹操击退，于是张绣退回防守穰城，再次与刘表联盟。 （《傅子》说：曹操给张绣亲信的胡车儿送礼物，张绣听说了以后怀疑曹操想用胡车儿刺杀他，用贾诩计，反。 ）
建安三年（198年）三月，曹操南征张绣，包围张绣据守的穰城。不久，曹操闻袁绍欲趁虚袭取许都，便立即从穰城撤退。张绣率兵尾随追击，刘表也派荆州军占据安众，切断曹军退路，企图与张绣夹击曹军，曹操出奇兵大败张、刘联军。曹军获胜后，速行北撤。张绣亲自率兵追击，贾诩劝阻说：“不可追，追必败。”张绣不听，强行追击，被曹操亲自断后击败。贾诩这时又对张绣说：“赶快再追，一定会获胜。”张绣说：“不听你的建议才落到这种地步，现在已经败了，为何要再追？”贾诩说：“形势已经起了变化，赶快去追准能获利。”张绣听从贾诩建议，收集散兵，再行追击，竟将曹操后卫部队击溃。
得胜后，张绣问贾诩请教是怎么回事，贾诩解释说：“这个（道理）很容易明白罢了。将军虽然擅长用兵，但绝非曹公敌手。曹军虽然刚撤，但曹公必然亲自殿后，我们的追兵虽精，但将领比不过他们，他们的士兵还很有士气，所以我知道将军你必败。曹操之所以还未尽力就已撤兵，一定是后方出了事，所以击破将军的追兵后，一定会全力撤退，留别人断后，他留的将领虽厉害，却比不上将军，所以我知道将军用败兵也能取胜。”张绣大为佩服。
降曹立功
建安四年（199年），张绣听从贾诩的建议，再次向曹操投降。张绣到达后，曹操牵着张绣的手，一起参加宴会，为自己的儿子曹均娶了张绣的女儿，并封张绣为扬武将军。
建安五年（200年），张绣参加了官渡之战，力战有功，升为破羌将军。
建安十年（205年），张绣跟随曹操在南皮击破袁谭，再次增加食邑，一共2000户，当时天下户口剧减，十户才留下一户，将领中封邑没有达到1000户的，唯独张绣特别多。