刘氏改嫁或许岳飞能够原谅，但他抛弃家人独自逃命的行为，怕是让岳飞伤透了心。王曾瑜在《尽忠报国:岳飞新传》中这样写道："岳飞的故乡沦陷后，曾有同乡前来寻他，告诉了他母亲和前妻的消息，并且转达了母亲的反复叮嘱：'为我语五郎，勉事圣天子，无以老媪为念也。'岳飞十分愤恨刘氏的背信弃义，同时对母亲和儿子的境遇深感不安。他曾先后派人18次潜入汤阴县，才将母亲和儿子接到自己军营中。"
这里虽说是小说之言，但确也符合历史和人伦。岳飞确实曾派人寻找过刘氏，可是没找到。
后来岳飞虽说另娶了李娃为妻，以照顾母亲和孩子，但心中对前妻刘氏的愤恨却是丝毫没有减少。比如他一直不曾纳妾蓄姬，就连关系不错的吴王介送给他的士族之女，也给婉言拒绝了。乍一看似乎是岳飞不近女色，但从深层次的心理来分析，刘氏的背信弃义是否影响了岳飞对女人的看法，也未尝不成立。
公元1138年，时任淮东宣抚处置使的韩世忠托人给岳飞传话，说是找到了他的结发妻子刘氏，让岳飞派人去取，但岳飞迟迟不予搭理，只"差人送钱五百贯"而已。
