1924年，第二次直奉战争爆发，冯玉祥控制北京，这位直系将领派兵把溥仪及宫内所有人统统赶出了紫禁城，文绣跟随溥仪一路辗转，最终在天津定居。期间，郑孝胥不断鼓动溥仪借助日本人力量复辟，这与溥仪想要重登帝位的美梦不谋而合。得知溥仪的错误想法后，文绣力劝他不要听信郑孝胥的鬼话，行引狼入室之举，否则会后患无穷。然而溥仪非但不听，反倒斥责文绣是妇人之见，并且开始有意对她疏远冷落。
溥仪与婉容合影
溥仪铁了心要将文绣晾在一边，不仅天天与婉容呆在一起，而且吃饭都不再与文绣同桌。下人们眼见文绣失宠，也开始对她百般刁难，文绣终日以泪洗面，最终在忍无可忍之下，选择与溥仪离婚。这件事在当时引起了极大的轰动，各大报纸争相把这则新闻当作头版头条，因此闹得沸沸扬扬。迫于压力，溥仪不得不接受了文绣与自己离婚这个既定事实。
与溥仪离婚后，文绣获得了5万元分手费，她本想回到母亲身边团聚，但遗憾母亲早已离世，更可气的是，就连祖屋都被远房亲戚卖掉，文绣只得自己花钱在北平刘海胡同购得一处平房安身。买完住所、支付完律师薪金后，文绣的钱财所剩无几，在经人介绍下，她去到一所私立小学任教。可是没过多久，文绣的身份就被起底，因此每天都有人堵在学校门口观瞻皇妃风采，文绣不堪其烦，只得选择从学校辞职。
