开元十四年（726），御史大夫宇文融等弹劾张说，说他"引术士占星，徇私僭侈，受纳贿赂"。玄宗令拘之，并发兵围其家。经过这次挫折，张说精神受到极大打击。事后，派宦官高力士探视，见张说蓬头垢面，坐在席上，"食以瓦器，惶惧待罪"。高力士并言，张说曾为侍读，于国有功。玄宗罢张说中书令，免去宰相之职。
离开朝廷后，张说专心致志研究文史，开元十六年（728）仍请张说为集贤院院士。朝廷每有大事，仍征求他的意见，开元十七年二月，复为尚书左丞相。开元十八年（731）十二月病死，年六十四岁，玄宗为张说自制神道碑文，因曾被封为燕国公，其文集称《张燕公集》计有二十五卷。
