这样的消息康熙皇帝自然也知道，后来张廷玉的弟弟和弟媳一起入宫参加宴席，期间康熙见到了官员和他们携带的亲眷，而张廷玉的弟媳也在其中。期间发生了什么我们无从知晓，只是后来据传闻描述，张廷玉的弟弟在出宫时却发现自己的妻子被换了，明明穿的就是自己妻子的服装，但是已经是另外一个人了。他经常在宫中走动，很快就猜到了什么，所以只好装作什么都没有发生离开了皇宫。而后再有入宫参加寿宴等活动时，大臣们都不会带着自己的妻子入宫，其中缘由自然大家心知肚明，不过不好明讲。
也许这样的事情在现代社会看来十分的不合情理，但是在古代封建王朝，皇帝一手遮天，他想要什么人就能得到什么人，在选择女人的时候才会无所顾忌。关于康熙皇帝还有一个说法，就是他曾经让一个格格做了自己的妃子，这位格格其实是在顺治的妹妹，所以说这已经违背了人伦纲常，康熙却没有遮掩，可见他对于自己所中意的女子会不顾其他而留在自己的身边。
