不过此时在刘秀的身边已经有一个女人了，她就是郭圣通，他是真定王刘杨的外甥女，刘秀为了获得刘杨的支持，所以娶了郭圣通。后来天下平定，为了照顾河北氏族的影响力，所以刘秀封郭圣通为皇后。
阴丽华此时只是一个贵妃，等到东汉王朝发展比较稳固之后，刘秀本打算要封阴丽华为皇后，但是阴丽华一直推辞，坚决不做皇后。阴丽华认为自己在刘秀起兵的过程中没有做出什么大的贡献，而郭圣通则给予刘秀很多帮助，所以阴丽华再三推辞。阴丽华是一个识大体，有全局观念的女性，她不仅是有出众的外表，而且也很有政治眼光，所以刘秀对于阴丽华一直是非常喜爱的，后来郭圣通被废，阴丽华成为了皇后，这样一个优秀的女性，难怪刘秀早年就要娶她为妻。
