实际上建武前期光武帝刘秀与自己的郭皇后关系还是很不错的。后汉书皇后纪当中所说的有宠旨，也正是郭皇后为光武帝先后生下了五位皇子，而郭圣通对阴丽华也不能说有多坏，阴丽华在后宫自然是谨慎小心，谦恭有度。阴丽华的作为固然与自身的品性有关，更与家风有关。应该说阴丽华的品行深受其弟阴兴的影响，刘秀想要加封阴兴，阴兴却坚决辞让说"臣未有冲锋陷阵的功劳，而阴家数人一起蒙受了爵位、封地已经是皇恩满溢了，富贵已经到了顶点，不可附加了。臣诚恳地请求陛下不要加封了"，应该说阴兴的选择绝对是正确的。王莽外戚篡权的教训近在眼前，光武帝刘秀能不防着点，所以这种加封阴家绝不能接受。最终光武帝称赞了阴兴的谦让，顺遂了阴兴的心愿。彼时上位贵人的阴丽华对此还颇有点不解，于是就问弟弟缘故何在。阴兴说道"贵人难道不读书吗？亢龙有悔，外戚家苦于不懂谦让与避让，嫁女儿就想配王侯，娶妻就想着公主，自己的心中实在不安。富贵有尽头，人要知足"，这一番话对阴丽华来说真是深有感触，于是阴丽华自己更是加倍的谦虚谨慎，低调做人，严格约束着自己的言行，绝不肯为家人谋求权力。事实上也正是阴丽华的这种签退，才日渐铺平了走向后位的道路。
时光静静地流转，命运悄然为阴丽华打开了一扇窗户。
建武九年，毗邻京师洛阳的颖川和河东两郡发生了变乱，叛军和盗贼四起，这场叛乱在刘秀的亲自平定之下，很快平息了。可是遗憾的是，阴丽华的母亲和弟弟却在这场叛乱中为群盗所杀，不说阴丽华是何等的伤心。刘秀当然体会过失去亲人的切肤之痛，刘秀对阴丽华无尽的联席，竟然下诏书安慰老婆，而诏书当中更是多次引用《诗经》，之所以在诏书中引用诗经，是因为这是一件值得大书特书的事。
诏书中是这样写的，"吾微贱之时，娶于阴氏，因将兵征伐，遂各别离。幸得安全，俱脱虎口。以贵人有母仪之美，宜立为后，而固辞弗敢当，列于媵妾。朕嘉其义让，许封诸弟。未及爵士，而遭患逢祸，母子同命，愍伤于怀。《小雅》曰：'将恐将惧，惟予与汝。将安将乐。汝转弃予。'风人之戒，可不慎乎"。这篇诏书当中，前文提到，阴丽华辞任了皇后郭圣通才能当上皇后，中间诗经的部分翻译成刘秀版本是这样的，想当初自己是那么的痛彻肺腑，却又不敢声张，性命危在旦夕，能明白自己，理解自己，激励自己，与自己共患难、共生死的就只有阴丽华了。如今自己打下了江山，做了帝王，功成名就，逍遥快活，怎么能忘了阴丽华呢。这诏书就是一首惨绝人寰的弃妇诗，借此来表达对阴丽华的愧疚与爱恋。
