《宋史·傅尧俞传》：尝因论事，英宗日："卿何不言蔡襄？"对曰："若襄有罪，陛下何不自正典刑，安用臣言？"英宗曰："欲使台谏言，以公议出之。"对日："若付之公议，臣但见襄办山陵事有功，不见其罪。臣身为谏官：使臣受旨言事，臣不敢。"
从这两件事可以看出，宋英宗对蔡襄充满恨意，总想找理由撤掉蔡襄，甚至治蔡襄的罪。只是蔡襄为官清廉，也没什么把柄可以让宋英宗抓住。治平二年（1065年），蔡襄感受到宋英宗对他的不满，自求外放，被贬出京城，改任杭州知州。
原来都是谣言惹的祸，宋英宗继位之后，有谣言说蔡襄对宋英宗当初被立为太子一事有异议。如今，宋英宗继位，自然对蔡襄不满，给蔡襄小鞋穿。
