不知道是徒单氏故意的还是怎么回事，总之完颜亮是大为恼怒。要不是大氏仁慈极力劝阻，完颜亮定要用棍子打徒单氏和那些和她谈话的公主宗妇们一顿。虽然在大氏的劝阻下，徒单氏免了一顿打，但她和完颜亮之间的关系更加恶化了。
完颜亮即位后先后迁了两次首都，第一次是从上京迁到了中都。由于完颜亮和徒单氏之间的关系大不如从前，所以迁都中都时就没有带徒单氏，只带着自己的母亲大氏去了中都。虽然徒单氏被留在了上京，但完颜亮依然派人暗中监视着她的激动。估计当时大氏也看出了完颜亮不善良的一面，所以经常告诫儿子说，徒单氏对他们不薄，让他别忘了那份恩情。
在母亲的告诫下，完颜亮这才没对徒单氏怎么样。1153年大氏病重之际，最后一次告诫完颜亮，等她死后让完颜亮把徒单氏接到中都，要像对待自己一样对待徒单氏。虽然大氏去世后，完颜亮遵照母亲的意思把徒单氏接了过来，但那是大氏去世三年后的事。
完颜亮把徒单氏接到中都，刚开始也很孝顺。但后来因为完颜亮伐宋，徒单氏只是提出来些异议，完颜亮又不高兴了。但完颜亮和徒单氏之间的关系并未破裂，后来完颜亮又把首都迁到了汴京。当时徒单氏身边有个侍婢叫高福娘，徒单氏关心完颜亮的起居于是派高福娘前去探问。
