而此后的两年，乌雅氏在宫中生活还算不错，有皇帝的撑腰，虽算不得极为得宠，但相比那些成年累月见不到皇帝面儿的妃嫔来说，道光帝对乌雅氏的待遇已经不错了。不过乌雅氏进宫后的第二年却突然被降了级，成了秀常在。关于乌雅氏降级的原因没有明确的史料记载。
我们可以结合道光帝的性格来推测一下，看过道光帝相关史料的人，都应该知道道光帝是个喜怒无常的人，生活极为节俭，甚至和普通老百姓差不多，一件衣服破了都会补了又补，算是一个好习惯，但有时太扣了，显得有些小家子气，很容易就会因为别人的一点点过失，而降罪于他人。
当时乌雅氏还是十多岁的孩子，刚刚入宫，和道光帝相处的时间不长，两人年龄相差又比较大，乌雅氏被降级很有可能是因为她一时疏忽，说了什么错话，或者做了什么不注意分寸的事儿，惹恼了道光帝，不过相比那些连降三级的妃嫔来说，她的过失也不会很大。
