此后，李显先后被软禁在均州、房州，生活条件十分艰苦。身边只有妻子韦氏陪伴，两人相依为命。这期间武则天再次废掉唐睿宗李旦，自立为神圣皇帝，李显天天提心吊胆，等待死亡的来临。然而，在韦后的支持下，夫妻二人居然苦熬了15年。李显曾经对韦氏发誓说：”有朝一日我能重登皇位，一定满足你的任何愿望“，正是这一句肺腑之言，埋下了日后韦氏淫乱涉政的伏笔。
李显被废后，与韦氏去往房州的路上，生下一个女儿。因为当时情况窘迫，李显匆忙中解下自己的衣服做襁褓，所以取名李裹儿，这就是日后的安乐公主。安乐公主自幼聪慧可爱，容貌美艳，给危难之中夫妻带了无穷的快乐与希望。李显和韦氏对她十分宠爱，听其所欲，无所不许，所以安乐公主从下就养成了骄横任性的脾气。
公元705年，李显在被废20多年后重新登上皇位，速来性情懦弱的他自然翻不起什么风浪。但是韦后确是一个很有野心、权力欲极强的女人，在李显复位后，韦后效仿武则天开始干预朝政。她还私通武则天的侄子武三思，还在宫中养着三个美男子，举朝皆知这些淫乱荒唐事。但是李显居然没有任何反应，装作什么都没发生。
