这是颜检一生中的第一个巅峰，此时，他45岁。
仅仅2年后，嘉庆九年（1804年），颜检因受部下执法不明连累，被责"玩视重案"，议革职，改留任。此后又因其他案件，颜检多次受到皇上盘问责备，他上疏反省，皇帝批复的话说得有点重，但又示以倚仗之意："方今中外吏治，贪墨者少，疲玩者多，因循观望，大臣不肯实心……仅知自保身家，此实国家之隐忧，不可不加整顿。卿系朕腹心之臣，其勉之。"
次年，因易州知州陈渼亏空案，颜检被责查办不力，降调革任，留了个主事的职衔，在吉地工程处效力。时值永定河堤崩坏，由颜检去主持修筑。其后连续几年，他一直仕途不顺，经常被犯罪的下属连累，接连受到降职、革职处分，甚至还被流放到乌鲁木齐。
跌入谷底的颜检慢慢地爬升，嘉庆十五年（1810年），授湖南岳常澧道，迁云南按察使。次年，升任贵州巡抚，准备再回去当京官。可不曾料到，他连接几次因事连累降职。嘉庆十九年（1814年），颜检被授官山东盐运使，以三品顶戴为浙江巡抚。
对颜检的才干和不足，嘉庆看得颇明白，他称赞颜检的操守才干，又因为颜检行政不能猛以济宽而屡屡对其训诫。
