这让身为婆家的李氏家人极为不满，有一天福康公主与梁怀吉在一起月下小酌，婆婆杨氏在暗中偷窥时被她发现，这她异常愤怒，随即命人打伤了杨氏，并大闹李家，这使得她与李玮的关系迅速恶化。这种恶化在嘉佑五年9月的一天爆发了，二人大吵了一架后福康公主于当晚跑回了皇宫，到仁宗跟前大哭不止，但是她却犯了一个大忌。
俗话说天家无小事，皇宫的大门在夜间是不允许随便打开的，她的这一举动遭到大臣们的不满，纷纷上书指责福康公主，仁宗只得下令调换她身边的所有近侍，这让本就婚姻不幸的福康公主身边连个亲近的人都没有了，于是她的精神终于崩溃了，大闹不止，仁宗无奈只得又把梁怀吉召回到公主身边。
但是此时公主已经不打算再与李玮过下去了，二人整日吵闹不止，福康公主甚至长期住到了皇宫，她的生母苗氏心疼女儿，想要毒杀李玮，但遭到仁宗的反对。不久之后，仁宗病逝福康公主从此失去了最疼爱她的人，新上任的宋英宗强行让她搬离了皇宫，对其不管不问。
由于失去了仁宗的庇佑，福康公主的生活也越来越艰难了，公元1070年，福康公主病重，她的侄子神宗皇帝前去探望，发现她的衣物被褥上到处都是虱子，房间冷得像冰窖一样，她的脸上还有自己生火时被炭火灼伤的痕迹。
