武威祖厉(今甘肃靖远西南)人。董卓部将，张济侄。张绣为县吏时，斩杀乱军首领麴胜，被邑中人称赞。董卓兵败，张济与李榷等为董卓报仇，袭击吕布。张绣随张济出战，因功迁为建忠将军，封宣威侯。张济率军南下作战，被流箭射中而死。当时，张绣统领其军，在宛城(今河南南阳)驻兵，与刘表会合。后曹操南征，张绣率众降顺曹操。
曹操纳张济之妻，张绣因而不悦。曹操得知，密谋杀掉张绣，不料计谋泄露，张绣反叛，掩杀曹操。曹操兵败，失二子。张绣退守穰(今河南邓县)，曹操连年征讨，都未攻下。
官渡之战时，张绣听从贾诩的建议再次率众降曹。曹操拉着张绣的手，二人欢宴。又让其子曹均娶张绣之女，并拜张绣为扬武将军。官渡之战中，张绣力战有功，升迁为破羌将军。后随曹操在河北破袁谭，曹操为他增邑二千户。当时众将中没有满千户的，张绣最多。
建安十二年(207)，张绣跟随曹操进攻乌桓，死于途中。谥定侯。