至于赫舍里氏到底做了什么样的错事，让道光帝一路将她贬到了贵人，我们不得而知，史籍也没有任何的记载，或许赫舍里氏真做了什么错事，也或许单纯就是不讨道光喜欢了，所以一点小事也能引发大事而被贬。
赫舍里氏被贬为贵人是道光九年的事情，此后的二十余年，她一直都是常贵人，也一直没有生儿育女。可能道光都忘了有这样一号人物了，而赫舍里氏在那二十余年的时间里必然也是孤枕难眠，整日锁在院子里一日日蹉跎的。
道光帝死后，其子咸丰皇帝尊奉赫舍里氏为常嫔，算是给她加了一个位分。但她在宫中的生活除了待遇稍微好点，一切似乎并没有什么改变。直到1860年，英法联军再次攻打大清，他们从春天开始进攻，这对于锁在深宫中的赫舍里氏来说似乎并没有产生多大的影响，毕竟只是深宫妇人，只要大清不亡，她们总还是好好的。
但是没想到，英法联军这一次很坚决，从春天打到了秋天还在继续，他们的目标是京城，而咸丰皇帝撑不住了，他在秋天打着秋猎的名义仓皇北逃，去了热河行宫，即我们常说的承德避暑山庄。彼时赫舍里氏正在圆明园中生活，或许谁都没有想到，1860年的10月6日，英法联军会绕过北京城直扑圆明园。
