然而，刘秀最爱的女人并非郭圣通，而是阴丽华。在刘秀内心深处，一直想把阴丽华推上皇后宝座。
公元39年，刘秀为了增加赋税的丈量土地，遭到土豪强烈反弹，甚至郡国大姓武力反抗。第二年，盗贼四起，州郡动乱，交趾造反，又出现日食这个天象，导致朝堂动乱，初生的东汉王朝迎来一次大危机。面对天象示警，度田（丈量土地）造成的忧怖，以及光武帝多年来心许阴丽华，最终都压在了身为皇后的郭圣通的身上。
公元41年，尽管遭到诸多大臣反对，刘秀还是以"行事有吕霍之风，不可以托以幼孤，恭承大位"为由，废除了郭圣通皇后之位，立阴丽华为皇后。史家讥讽刘秀废后指出：光武帝能容功臣，独不能容一妻子，废后之举，全出私意。
或许，刘秀对郭圣通心怀愧疚，在废除郭圣通皇后之后，随即封郭圣通二儿子刘辅为中山王，封废后郭氏为中山王太后，以常山郡划给中山国，以二郡奉养郭氏，让郭圣通成为两汉第三位皇帝没死而被封为"太后"的女人。与此同时，刘秀还对郭圣通娘家进行了安抚，兄弟郭况、堂兄郭竟、堂弟郭匡、郭家外戚女婿南阳陈茂都被封侯。
