原来，司马光一直不纳妾，张氏在外面的压力越来越大，岳母心疼女儿，便和女儿"合谋"。岳母先邀请司马光夫妻二人到家中赏花，然后找借口把张氏支走，派一个美貌丫鬟，穿着十分艳丽的衣裳来伺候司马光。
司马光见身后站着一个艳丽丫鬟，心里很不自在。但毕竟是在岳母家中，他又不好发作。但妻子迟迟不来，司马光只好一个人往前走，试图远离那位丫鬟，可没想到丫鬟却紧紧跟着自己。司马光隐忍很久，突然爆发，说了两个字："走开！"
见丫鬟惊恐，司马光唯恐失礼，又补充说："夫人不在，你跟着我作甚！"
这件事很快被其他人知道，司马光的同僚听闻此事，纷纷竖起大拇指，把司马光夫妻比作司马相如和卓文君。
