而度田制实行三年后，不仅朝廷大臣们之间有看法，各地权贵不断进行反抗，甚至各地盗贼蜂拥而来。最让刘秀上火的是交趾郡征侧、征贰姐妹起兵造反，刘秀不得不腾出手平乱。
内忧外患让东汉初年承受着巨大压力，刘秀为了震慑那些不听话的豪强，他选择了向郭圣通动手，废除郭圣通皇后之位，册封阴丽华为皇后，一时间朝廷无声。
据史料记载，刘秀在废后上"皇后怀执怨怼"。史料认为郭皇后焦虑，既然削弱郭圣通及舅舅家族势力，今后还有什么可以制约刘秀的？况且刘秀喜欢阴丽华，也喜欢阴丽华生的儿子，这种焦虑感以及对刘秀的不满，就促成了废后。
