建武十七年十月，刘秀决定废掉郭圣通，指责郭圣通因为逐渐失宠而心生怨恨，对待众位皇子的态度缺少皇后应有的温情与慈爱。对待众位妃嫔的态度更为恶劣，缺少皇后的风范。还说郭圣通的性格像吕后那样，如果刘秀死后，那么会像吕后那样对待戚夫人和赵如意的，不会善待阴丽华母子的。
而阴丽华是自己的原配，对自己情深意重，而且性情温良，很适合做为皇后。到此，我们就可以明白，刘秀最爱的人还是阴丽华，郭圣通更多的是利益上的帮助。
《后汉书·郅恽传》中曾经记载过这样一件事，大臣郅恽对刘秀说，我听闻夫妻之间的事情，连孩子都不能随便干涉，更何况是臣下来干涉皇上呢？我不敢异议。即便如此，我仍然希望您对此事要三思，不要做出让天下人议论的事情。
刘秀说，你一向体谅我，知道我不会因为这种私事而忽略天下社稷的。
