消灭公孙述之后，刘秀开始退功臣，当时，朝廷上除了邓禹、李通、贾复外，其他皆没有了实权。而邓禹、李通、贾复，也都是南阳人，刘秀想尽办法剪除了河北豪族的势力，这也就影响了郭圣通的皇后之位。
公元41年，已经失去了存在价值的郭圣通终于被光武帝废黜，而恰巧这一年，阴丽华也被扶持为皇后。
汉光武刘秀打击河北豪族，起用南阳士族，这虽然有利于东汉王朝的稳固和发展，但从长远看，却是不利的。由于过度纵容南阳士族，其最终也就造成了阴氏一家独大。阴氏家族掌权，这就使得东汉后期外戚效仿，不得不说，光武帝才是开启东汉外戚专权的第一人。
