两人结婚还没来得及温热感情，在第二年，也就是公元211年，刘备在领军进攻益州之时，孙权便派人接回了孙尚香，并将四岁的刘阿斗也一并带回东吴，想以此要挟刘备，后来张飞和赵云截江才将刘婵给救回来，可见当时是强行从孙尚香手中夺回刘婵的，从此孙尚香和刘备二人的联姻也就名存实亡了。
而返回东吴的孙尚香并没有因此过上好日子，反而整日郁郁寡欢，整日都背负着巨大的净身压力。在东吴方面，她是敌军将领的夫人；在蜀军看来她是有劫持太子私自逃走的嫌疑。史书中并没有记载孙尚香是怎么去世的，而在刘备称帝后也没有给她什么名分，虽然她出身名门，但是却被卷进了这场政治斗争之中成为了斗争的牺牲品，最终也只能孤独终老，抑郁而终。
