而阴丽华自己占有的优势仅仅是刘秀的宠爱，当时政治形势依然严峻，各地还有叛乱。为了内部安定着想，阴丽华只得让步，因为她明白立郭圣通为后才是最好的选择。
建武十七年，天下大定，郭圣通的政治意义可有可无，刘秀已经掌握朝政，无需再借用郭圣通来稳定朝局。由于对阴丽华的偏爱，刘秀决定废后。
皇后怀执怨怼，数违教令，不能抚循它子，训长异室。宫闱之内，若见鹰鹯。既无《关雎》之德，而有吕、霍之风，岂可托以幼孤，恭承明祀。今遣大司徒涉、宗正吉持节，其上皇后玺绶。阴贵人乡里良家，归自微贱。自我不见，于今三年。宜奉宗庙，为天下母。主者详案旧典，时上尊号。异常之事，非国休福，不得上寿称庆。
刘秀昭告天下言郭皇后无德，更有吕、霍之风，废后立后同时进行。同为后宫妃嫔，郭圣通可能会对阴丽华产生嫉妒。而阴丽华又素有贤名，郭圣通与她相比之下，德行或许有所失，但是吕、霍之风，只怕是刘秀找的一个华丽的借口。
