张孝祥也因此开始了十几年的宦海沉浮
秦桧病逝后，张孝祥受到重用，在绍兴二十四年至绍兴二十九年的五年中不断升迁，最后官至中书舍人，中书舍人乃天子近臣，难免遭人嫉妒，张孝祥为人又过于耿直，不屑于趋炎附势，拉帮结派，所以很快就被人诬告，丢官回家。
就在他赋闲的这段时间，与他同年进士的虞允文在采石矶一役中大败金主完颜亮，扶大厦之将倾，张孝祥兴奋异常，写下开头那首千古流传的《水调歌头·闻采石矶战胜》，绍兴三十二年，张孝祥还朝，出任抚州，孝宗继位后，张浚力荐张孝祥，张孝祥得以在隆兴二年再度出任中书舍人一职。
然而好景不长，同年八月，张浚病逝，主战派在朝堂之上没了主心骨，张孝祥再次受到打击，被排挤到朝堂之外，从此之后，张孝祥再也没能回到朝堂，辗转六郡任职。
虽然仕途不顺，张孝祥却是初心不改，一直坚持抗战的主张，在地方任职期间也兢兢业业，为民请命，多有慧政，据《敬简堂记》所载，张孝祥知潭州时，关注农事，勤勉公事，善待于民，使得"狱事清静，庭无留滞"！乾道五年三月，南宋局势愈发恶劣，朝政日益腐败，张孝祥失望不已，于是辞官回家，归隐不出，次年七月，张孝祥于盛夏之日送别虞允文，两人泛舟芜湖，对饮畅谈，张孝祥回家之后就中了暑，高烧不退，上吐下泻，最后不治身亡，年仅三十八岁！
