刘秀赶紧解释道：为了向刘扬借到援军，他才不得不迎娶刘扬的外甥女郭圣通。听完以后，阴丽华并没有生气，反而很是理解。公元二十六年，刘扬因谋反而被杀死，刘秀就想立阴丽华为后。然而阴丽华却劝刘秀：患难之情不能忘，更何况郭圣通都为你生下了儿子。刘秀因此不得不立郭圣通为皇后。
直到两年后，阴丽华为刘秀也生下了儿子。原本刘秀就更偏爱阴丽华，再加上阴丽华生下儿子。郭圣通自然是感到威胁，于是总是表达自己的不满，正因如此，刘秀也对这个皇后，越来越厌恶。
公元四十一年，刘秀以郭圣通不可以托以幼孤为由，废了她的皇后之位，改由阴丽华为皇后。阴丽华皇后天性善良，不愿伤害别人，以及刘秀也是个温和善良的人。因此尽管皇后被废，却一直生活在北宫，没有被打入冷宫。
