但是在姚崇当宰相的时候，得罪了很多人，其中有一个人叫做张说。姚聪曾经担任同州刺史。那时候曾经得罪过张说。张说于是就怂恿大臣弹劾他。姚崇当上宰相之后，张说十分害怕，于是就到岐王府与岐王勾结。
有一次上朝的时候，姚崇故意退朝之后走在后面。唐玄宗于是就问他，为什么走得那么慢。姚崇就对唐玄宗说，自己有足疾。唐玄宗于是就关心他，是不是很疼。姚崇答："其实我的痛处不在脚上，而是在心里。"于是顺理成章就将张说与岐王勾结的事情告诉了唐玄宗，唐玄宗因此将张说贬到了相州。
后来张说因为平叛有功，因此被调回京城，身居高位，甚至后来与姚崇一同担任宰相。张说担任宰相后，两人仍然经常发生矛盾，因此张说对姚崇很是怨恨。
姚崇晚年生了重病，于是就嘱咐儿子对儿子说："我死之后，张说出于礼节，一定会来吊唁，你们要将我之前收藏的所有珍宝都摆在棺材的前面，他最喜欢这种东西了，要是他连看都不看，那你们就会有性命之忧，要是他看了，你们就将他喜欢的全部送给他，然后请他给我撰写碑文，这样你们的性命就保住了"。
