史书说郭圣通当上皇后后，怀执怨怼，数违教令，刘秀担心自己死后，郭圣通会像吕后一样迫害阴丽华和他的小孩，所以在建武十七年，废掉郭圣通的后位，册立阴丽华为皇后。刘秀更亲自草拟诏书，说名废郭圣通，立阴丽华的道理。这样郭圣通和阴丽华角色又互换了，郭圣通由后变妃。
看起来，刘秀对阴丽华长久的歉疚，终于得到补偿的机会，两人终于有情人终成眷属了。不过郭圣通真的是图谋成为吕后第二、咎由自取才被废的吗？根本不是。
三、刘秀的私心
《后汉书》作者范晔就为郭圣通报不平，说刘秀废后理由纯粹就是借口，实际上却是，郭圣通的舅舅刘扬在建武二年因为叛乱被杀，而刘秀自己也早就疏远郭圣通，专宠阴丽华。
