然而于志宁与其他人不同，他虽然被贬了，但是家人却都保全了，躲过了劫难。这是为什么呢？也有人很奇怪，为什么于志宁在做李承乾老师的时候，敢于冒着生命危险进谏，而在废王立武事件中却不发一言呢？说起来，这就是于志宁的聪明之处，因为他清楚地意识到，当时唐太宗李世民是一个明君，虽直谏，但不会获罪，而高宗比较软弱，武则天比较强势，冒死反对不仅没有效果，还会被武则天记仇，有生命危险。
当他看到武则天果然成功地当上了皇后，他就意识到危险的靠近。在他被贬为荣州刺史之后，他立即让家里人躲到深山里，自己在工作上保持低调，好在他自己在平时工作中没有任何过错，也不依附任何帮派势力，平时说话也比较小心谨慎，所以渐渐地李治和武则天就忘记了这个人，他也就安全了。
武则天是一个对异已者非常仇恨，除之而后快的人，谁要是敢和她唱反调，那必然要被置之死地，这是女皇树立个人威望的举措，也是她对人本性的深刻认识，丰富的斗争经验告诉她，只有让别人屈服，她才能施展自己的政治才能，才能开拓自己广阔的天地。而面对如此铁腕的女人，于志宁能全身而退，说明他是一个洞察世事的聪明人。
