等到皇权一天天稳定，郭家仗着自己有开国之功，开始野心膨胀，刘秀也担心担心外戚干政，现在自己已经掌控朝廷，已经不再需要郭家，加上郭圣通并不是一位好皇后，她一度与后宫妃子交恶，就连教育后代的工作也不能做好。
最终被刘秀废除皇后之位，改立阴丽华为后，且郭圣通儿子的太子之位也被废除。阴丽华从不与后宫其他妃子争宠，对其他妃子所生皇子也是一视同仁，为刘秀养育了11位皇子和5位公主，为人节俭，从不铺张浪费，这所作所为，无不彰显出她贤后的风采。
阴丽华知道刘秀心中一直忌讳外戚干政的事情，她就多次劝谏家里人不要恃宠而骄，多次拒绝刘秀的赐官封赏，从而保全了阴家整个家族。刘秀去世后，阴丽华儿子刘庄即位，她为儿子挑选的皇后也是贤惠有德的人，不仅维持后宫和谐，也巧妙避免了外戚势力干政的后果。因此，阴丽华和光武帝刘秀这对恩爱夫妻也让很多人羡慕。
