堂堂大唐的太子，却被宰相逼得失去了一妻一妾，这实在是太子的耻辱，但是李亨不得不接受，他没有能力或者说不敢显露能力来和李林甫硬碰硬，毕竟还有唐玄宗在看着他。他唯一能做的就是尽量弱化自己，低调低调再低调，最好顺从到让唐玄宗对他放下戒心。
在朝中近乎孤立无援的李亨压力很大，时时刻刻不敢放松警惕。因此老的很快，李德裕《次柳氏旧闻》中有这样一段记载：
肃宗在东宫，为李林甫所构，势几危者数矣。无何，鬓发斑白。常早朝，上见之，愀然曰：''汝第归院，吾当幸汝。''
长期压抑紧张的生活让他很快就两鬓斑白。即便唐玄宗对他起了恻隐之心，但他仍然不敢松懈，《唐语林·德行》记载：
肃宗为太子，尝侍膳。尚食置熟俎，有羊臂需。上顾太子，使太子割。肃宗既割，余污漫刃，以饼洁之，上熟视，不怿；肃宗徐举饼啖之，上大悦，谓太子曰：''福当如是爱惜。''
