靖康元年，金兵合围榆次，宋军主帅战死，张俊率数百人成功突围，还杀死追兵500多人，这一战让他名声大震。靖康二年，张俊率兵镇压李昱、张遇，至此受到朝廷重用，仕途上也是步步高升，官职做到了拱卫大夫。
靖康之耻后，他拥立赵构。并帮助赵构拿下淮宁、镇江、杭州、兰溪、秀州等地，为南宋朝廷开辟了一席回旋之地。
建炎元年，宋高宗即位，任命张俊为御营前军统制。建炎二年，张俊镇压秀州徐明，升为承宣使。建炎三年，镇压苗傅、刘正彦，升任节度使。
建炎三年，张俊在明州殊死抵抗，击退金军，并杀死金兵数千人，使金军锐气大挫，这场战争也被选进"中兴十三功"。同年十一月，张俊部将刘宝等人在明州城下击败金军。绍兴元年，张俊征讨马进、李成立功，升任太尉。
