等到赵祯即位后，他任命晏殊为宰相，而却没有重用蔡伯俙。蔡伯俙百思不得其解，于是去问宋仁宗赵祯。仁宗说："当时我不懂事，所以才会受你欺骗。现在我知道了怎样识别人才，因此便不会再重用您这样德行不一的人为官。"
随后不久，蔡伯俙被宋仁宗调到外郡当差。但是蔡伯俙到地方任职后，却没有什么建树，甚至为非作歹，经常被人弹劾。对此，宋仁宗只好让他做司农卿。这是个闲差，主管农业，而且俸禄少。
蔡伯俙的子孙都没有一个争气的，都是平庸之人。这导致一大家人都要靠蔡伯俙的微薄俸禄来过生活，最后落得穷困潦倒的下场。
（图片来源于网络）
