建安十七年（公元212年），这时候刘备已经和孙权的妹妹结婚了，孙夫人也是刘备有记载的第三个老婆。不过当时刘备已经五十多岁了，而孙尚香正值青春年华，两人的婚姻又是为了巩固孙刘联盟的政治联姻。而且据记载孙夫人这个人很强势，她才智敏捷，为人刚强勇猛，身边还有一百多名带刀侍婢，刘备这样的人物每次进入她的房间都会感到害怕，所以这场婚姻本就没有幸福可言。法正就曾劝说过刘备要和孙夫人保持一定的距离。
孙夫人嫁给刘备后常常依仗自己是孙权的妹妹而嚣张跋扈，她从吴国带来的官兵也不遵守法度。刘备以为赵云为人庄重，所以命他管理内事，后来他干脆在荆州公安城西面的孱陵建了一座"孱陵城"或叫做"孙夫人城"，让孙夫人和她的侍婢以及带来的官兵居住。也有说法称是孙夫人自己建立的这座城池。
建安十六年（公元211年），刘备入蜀协助刘璋抵抗张鲁，留下关羽、张飞、诸葛亮、赵云留守荆州。
第二年也就是建安十七年（公元212年），孙权派遣了周善带着船队迎接妹妹回去，理由是母亲吴国太病重，非常思念她，希望她能回去探望。孙夫人认为刘禅是刘备唯一的儿子，而且刘备年事已高，也不打算再生二胎了，刘禅终将成为刘备唯一的继承人，所以就把刘禅一起带走了。
