被法正等大臣这么一说，刘备也觉得有道理，慢慢地与孙尚香疏远了，为此还专门名人划出一块地给孙尚香住，让她不要在别地惹是生非。恰好在那时候，刘璋邀请刘备入川，刘备没有带孙尚香前去，把她抛在了荆州了。
刘备娶吴氏抛孙尚香
孙权看刘备前往益州后，想通过孙尚香拿走刘备的孩子想要让刘备逼还荆州地区。孙权谎称母亲病重，让孙尚香返回东吴看望母亲，此后孙尚香独自前往东吴，与刘备分隔两地，从此一直都没有见面。
刘备入主西川后，在法正等人的建议下，迎娶了寡妇吴氏。吴氏身份比较特殊，他是前任西川之主刘璋的父亲刘焉的儿媳妇。吴氏的丈夫英年早逝，她很早就成了寡妇，一直没有嫁人。
