张俊十六岁从军为弓箭手，在与西夏的战争中逐步成长为一名中级军官。靖康元年（1126），抗击金军于东明（今河南兰考北），因功升武功大夫（第十五阶），成为一名中高级军官。《水浒》中宋江征方腊回朝后被封武德大夫（十六阶），可知此时张俊官阶之高。建炎四年（1130）岳飞率岳家军取得建康大捷收复南京，押解俘虏面圣时方才升为武功大夫，此时，岳家军已有万人，岳飞为统制。宋军的建制单位中，一军2500人，由统制领导，岳家军可算是超强超编的加强旅（第二年岳家军就被授予神武副军的军号，正式升格成军）。
1126年张俊随钟师中救援太原，钟师中是钟家军统帅，就是《水浒》中的小钟经略公，鲁提辖就是其手下，三拳打死镇关西后逃走，成为花和尚。由于友军未能及时跟进，钟师中的西军在榆次战败，钟师中殉国。张俊率数百人溃围而出。时赵构任兵马大元帅进至大名，张俊来到大名，被任命为帅府后军统制。
徽钦二帝被掳后，张俊以其敏锐的政治观察力断然拥立赵构。建炎三年的苗、刘兵变，张俊与韩世忠参与平叛，拥赵构复位。二人均因拥立、复立之功成为赵构的亲信。虽然后来岳飞屡立战功，功绩为南宋诸将之冠，但是官阶一直落后于二人。
张俊后来虽然在平叛和抗击金军的战斗中有所建树，但是他也是中兴四将中非议最大的，其原因就是他依附秦桧议和，威逼唆使王贵诬告，是陷害岳飞的帮凶，至今仍跟秦桧一起跪在岳飞墓前。
