终贞观一朝，李世民一直对他虚与委蛇，在笼络的同时也在打压。徐茂公生病时，李世民能剃掉胡须，为他做药引。就当徐茂公感激涕零，以为李世民对他推心置腹之时。李世民又以一张贬书将徐茂公徙官外地。
徐茂公这才明白，李世民对自己的信任和恩惠，都是装出来的。因此徐茂公连行装都不收拾，直接去叠州赴任。因为他知道，这一切都是李世民对他的考验。只要他稍有迟疑和怨言，可以说是必死无疑。
唐高宗见徐茂公如此识相，于是又用一纸诏书将他召回，并委以重任。可以说，徐茂公在贞观朝虽然步步高升、屡立战功，但李世民一直都将他视为一个工具人，甚至一个潜在的背叛者。徐茂公在贞观朝所经历的压抑和痛苦，是可想而知的。
二、后辈、同事相继灭族，心理压力巨大
李世民去世后，被老皇帝强行压制的党争在唐高宗时代彻底爆发。
