建武八年(82年),刘秀亲临陇右线，指挥平陇作战，结果后方的颖川河东爆发了变乱。因为颖川和河东两郡毗邻京师洛阳，所以刘秀不得不亲自“晨夜东驰”，以平变乱。建武九年，刘秀对陇右的作战再遭重挫，曾经已被汉军占据的天水、安定线全线崩溃，其地复为隗嚣所得。故建武八年、九年之中，大后方的“群盗"甚多。
而就在这一年，阴丽华的母弟被后方的这些盗贼所杀。皇妃家眷遇害，本是件普通的犯上作乱的案子，皇帝下诏安抚皇妃家人，也在情理之中。但皇帝却偏偏在诏书中说了很多对于贵人阴氏“情意绵绵”的话，透露出了当初皇帝的本意是要贵人阴丽华做皇后的，并说因为阴氏的退让才没有这样做。
郭皇后知道这道诏书后，愤怒异常，在刘秀面前“数怀怨想”，来表达自己的怨气与不满，弄得帝后关系颇为紧张。
西汉初年吕后用“人彘”刑法来处罚高祖宠妃威夫人的事情犹如昨日，一旦有朝一日郭圣通成为了手握大权的皇太后，宠妃阴丽华的命运如何，这是刘秀极为忧虑的一件后宫大事。吕后的教训太深刻了，想想都让刘秀害怕，所以他的心里产生了在有生之年废除郭圣通皇后之位的想法，这样她们两人都可以有一个不错的归宿，
建武十七年，光武帝决定废皇后郭氏为中山王太后，立贵人阴氏为后。郭氏被降旨废为中山王太后，移居洛阳的北宫居住(东汉官殿结构为南北宫，初期帝后都在南宫居住，自明帝之后逐渐移居北宫)。郭后被废后，终日郁郁寡欢，11年后病逝，安葬于北邙。
刘秀废郭皇后的动因，是出自于对阴丽华的爱护，担心自己死后她会受到郭氏的残害，此情可谓感人。但不得不承认，刘秀确实是一个深谋远虑的英明皇帝，他的担心不是没有道理的，因为郭圣通皇后的家庭势力非常强大，自己死后郭皇后完全有可能成为第二个吕后，那样的话对不仅会对刘家天下产生严重威胁，对天下百姓也是一件不幸的事情。
