但是好景不长，徐佳氏就被连降三级位分。皇帝先是把她降为常在，这跟她刚成为妃子时的位分是一样的，也算是比较重的惩罚。但是在不到一个月的时间，徐佳氏又从常在被贬为官女子。虽然只是两次被降位，但其实中间越过答应的位分，直接被连降三级，足够能看出皇帝对徐佳氏的生气。皇帝如此做法，原因是徐佳氏责打宫中的婢女，还与太监开心谈笑。其实责打宫女虽然确实在清宫是不当的言行，但毕竟徐佳氏连妃嫔都能惩罚，这也不算什么。
真正让咸丰皇帝生气的原因，其实是徐佳氏经常跟太监开心谈笑，咸丰是吃醋了，所以才十分生气，给徐佳氏在一个月内连降三级位分。作为一个皇帝，后宫佳丽众多的咸丰竟会因为徐佳氏吃醋，实在是让人觉得有些匪夷所思。徐佳氏经历这次之后，也开始收敛自己，整日在宫中哭泣。皇帝本就不是真心想降她的位分，只不过是因为吃醋，在看到徐佳氏如此之后，还是非常心软，在不长的时间内，又一路晋升她成为贵人，后来还在她无子的情况下，晋她为嫔位。咸丰皇帝是真的很宠爱徐佳氏吧，否则当初也不会吃她的醋了。
