据《后汉书》记载，刘庄"十岁能通《春秋》，光武奇之"。郭圣通也感觉到了这一变化，多年积累的委屈与怨恨终于爆发了，以致经常"怀执怨怼"，也就是不断向刘秀抱怨吵闹，还将种种不满发泄到阴丽华身上。郭圣通的行为不但没有挽回丈夫的心，反而引起刘秀的反感。
建武十七年(41)，刘秀终于下定决心废掉郭皇后，同时册立阴丽华为皇后。刘秀向天下颁布诏书:"皇后怀执怨怼，数违教令，不能抚循它子，训长异室。宫闱之内，若见鹰鹤。既无《关雎》之德，而有吕、霍之风，岂可托以幼孤，恭承明祀。今遣大司徒涉、宗正吉持节，其上皇后玺绶。阴贵人乡里良家，归自微贱。'自我不见，于今三年。'宜奉宗庙，为天下母。主者详案旧典，时上尊号。异常之事，非国休福，不得上寿称庆。"
郭圣通交出皇后的玺绶后，黯然地离开她居住了16年的皇后寝殿，离开她付出了青春的大汉后宫，跟随次子中山王回到封国，做了中山王太后。这实在是一个出人意料的结局，因为废后的命运一般是从此打入冷宫，更有甚者，被赐─杯毒酒或三尺白绫，从此了断尘世纠葛。
况且，一般来说，只有皇帝去世了，藩王之母才能被尊为王太后，但刘秀竟封郭圣通做了王太后，真是历史上独一份儿了。估计刘秀对这位当年陪伴自己征战河北并育有五子的女子，心中还是有所不忍吧。
