刘娥否极泰来，飞上高枝变凤凰，过上了锦衣玉食的生活。可是好景不长，刘娥得宠引得赵恒乳母秦国夫人羡慕嫉妒恨，于是在宋太宗面前添油加醋的告了一状。
得知儿子爱上了一个来历不明的女子，赵光义大为光火，令赵恒立即"斥走"刘娥。
其实，赵恒心仪四川女子是受父亲影响：赵光义任开封尹时，曾经将一位四川美眉掳入府中宠以专房，事情传的沸沸扬扬，在赵匡胤的过问下，赵光义才恋恋不舍地将该女子送出府。
父命难违，赵恒心中万般不舍，不愿意就这样与心爱的女人成为路人，于是动了番心思，给了心腹张耆一笔钱，把刘娥安顿在了他的家中（"不得已，置于张耆家"）。
