当时刘备甚至还担心发生变故，自己性命不保。诸葛亮后来在谈到刘备这个忧虑时，说"惧孙尚香生变于肘腋之下"，说明确实存在这种危险。
孙尚香来到荆州后，不但随带了武装的丫鬟，更是随带了一批男兵，也就是她的卫队。这些卫队仗着主子高贵，经常有不端的行为，打骂当地百姓，乃至和刘备的士兵发生冲突。这也使得刘备大伤脑筋，在恐惧的基础上进而又加上了"恼怒"二字，不过碍于夫人的面子，又不好对他们动手。
后来就想了个法子，在公安大本营的西边另外筑了一城，让孙尚香的男女卫队都集中到那里去。如此一来，麻烦是少了，可夫妻之间的隔阂则增加了。至今，公安还有孙尚香城的遗址，便是他们两夫妻失和的见证。
