从这两件事可以看出，宋英宗对蔡襄充满恨意，总想找理由撤掉蔡襄，甚至治蔡襄的罪。只是蔡襄为官清廉，也没什么把柄落在宋英宗手中。治平二年（1065年），蔡襄感受到宋英宗对他的不满，自求外放，被贬出京城，改任杭州知州。
据相关史料记载，宋英宗对蔡襄如此耿耿于怀是因为此前曾听到有谣言：宋英宗继位之前，蔡襄对宋英宗被立为太子有异议。也就是说，蔡襄不支持宋仁宗将宋英宗册封为太子，如今宋英宗继位，难免会对蔡襄不满。不过，韩琦、欧阳修、曾公亮三大宰相都出面针对此谣言对宋英宗做了解释，说没有任何文字资料等证据说明蔡襄对宋英宗继位的异议，希望宋英宗不要相信谣言。宋英宗当时就说："如果我相信谣言，蔡襄哪还有命在？"宋英宗嘴上说自己不相信谣言，实际上他是相信谣言的。
欧阳修《文忠集》卷一一九·奏事录：蔡侍郎襄，自给事中、三司使，除礼部侍郎、端明殿学士、知杭州。初，上入为皇子，中外相庆，知大计已定矣。既而稍稍传云有异议者，指蔡公为一人。及上即位，始亲政，每语及三司事，便有忿然不乐之色。蔡公终以此疑惧，请出。既有除命，韩、曾二公因为上言："蔡襄事出于流言，难以必信。前世人主以疑似之嫌害及忠良者，可以为鉴也。"臣修亦启曰："或闻蔡襄文字尚在禁中，陛下曾亲见之乎？"上曰："文字即不曾见，无则不可知其必无。"臣修奏曰："若无文字，则事未可知。就使陛下曾见文字，犹须更辨真伪。往时夏竦欲陷富弼，乃先令婢子学石介书字，岁余学成，乃伪作介与弼书，谋废立事。书未及上，为言者廉知而发之。赖仁宗圣明，弼得免祸。至如臣，自丁母忧服阕，初还朝时，有嫉臣者乃伪撰臣一札子，言乞沙汰内官，欲以激怒群阉。是时家家有本，中外喧传。亦赖仁宗保全，得至今日。由是而言，陛下曾见文字，犹须更辨真伪，何况止是传闻疑似之言，何可为信？"上曰："官家若信传闻，蔡襄岂有此命？"
