后来，因为与蔡京权势互相倾轧，加之一些人从中挑拨，于是父子失和，反目为仇。
蔡攸被权力迷惑了双眼，慢慢地越看自己的父亲不顺眼了。觉得父亲分走了皇帝对他的宠信，同时分走了他的权势。老狐狸蔡京怎么会感受不到儿子对自己的态度变化呢，之后，父子两的关系就开始日渐恶化。
某一次，蔡攸回家探望父亲。当时蔡京正在会客，蔡攸风风火火地闯进来，直接拉起父亲的手腕做把脉状，还故作关心的询问着父亲的身体状况，蔡京回答道他的身体还不错，蔡攸听了之后，找了个借口就退下了。
让旁边的客人看的是一头雾水，蔡京却是满脸苦笑，他的心里像明镜似的，儿子这是要借口他年龄大了身体不行了，让他退位呢！果不其然，没过多久，皇帝的诏书就来了，说他年老多病，不如退休回乡下吧。
宣和六年（1124年），一度复出的蔡京又一次被勒令致仕，童贯和蔡攸奉命去取辞表。蔡京说："我早该辞职了，只是因为上恩未报才不忍告老，这是二公所知道的。"蔡京左右见蔡京竟然呼儿子蔡攸为"公"，都笑了。
