蔡伯俙也并非总是那样圆滑，有一天，他画了一幅画，里面的人物都是面黄肌瘦。真宗见了很不高兴，以为是对自己的政绩不满，就问他为什么要这样画？蔡伯俙回答："臣在乡间时，见到百姓们都很苦，他们都是这个模样。"真宗听了良久无言，叹息不已。
真宗驾崩之后，太子赵祯即位，就是宋仁宗。蔡伯俙认为自己和仁宗的关系最好，一定会得到仁宗的重用。谁知"竟不大用" （《挥麈录》），仁宗是一个英明的皇帝，始终没有重用他，只是让他担任一些无关紧要的职位。对待晏殊却完全不同，后来还让晏殊做了宰相。蔡伯俙的心里很不平衡，就去询问仁宗。仁宗告诉他："从前我年幼无知，分不清是非。如今我治理天下，必须要任用德才兼备的人。你才华有余，德行却不足。"仁宗的几句话，说得蔡伯俙哑口无言。
之后，蔡伯俙"以旧恩常领郡，颇不循法令，或被劾取旨，上识其姓名，必曰'藩邸旧臣，且令转官'" （《挥麈录》）。蔡伯俙一直无所作为，还总干一些违反法令的事情，每次都是仁宗顾念旧情不追究，只是把他调到别的地方任职。蔡伯俙也不知收敛，经常乞求朝廷关照，为时人所不齿。"凡更四朝，元符初致仕，已八十岁矣" （《挥麈录》）。蔡伯俙历经了真宗、仁宗、英宗、哲宗四朝，为官七十多年，始终没有被重用，直到80岁高龄时告老还乡。
蔡伯俙和晏殊都是神童，都陪伴仁宗长大，可是晏殊名传千古，蔡伯俙却碌碌无为。这是什么原因呢？《挥麈录》把他们做了对比，说道："伯俙字景蕃，与晏元献（晏殊）俱五六岁以神童侍仁宗于东宫。元献自初梗介，蔡最柔媚"。一个正直，一个圆滑，这就是他们最大的差别。
