当了六年透明皇帝后，刘询的机会终于来了。地节二年（前68），霍光去世，刘询以厚葬表达自己对霍光的重视，以此来麻痹霍家人。
不久之后，没了霍光这根顶梁柱的霍家子弟，逐一被汉宣帝刘询扫除，盛极一时的霍氏家族就此没落。
说回被废的刘贺，虽然回到老家，但人身依然很不自由。刘询对刘贺这个被贬为庶民的废帝，十分不放心。在地节三、四年间（前67-前66年），刘询不止一次派遣山阳太守张敞巡视监督刘贺的日常状况，并要求向自己汇报。
史籍记载，张敞兼职狗仔队去窥视刘贺的情况，看到他虽然住在原来的宫殿里，奴婢还有一百八十三人，但大门锁起，只能靠一扇小门出入。每日指派一个差役跑腿采买必需品，其他人不得外出。
刘贺知道自己身体不好，已经在昌邑城附近给自己择好了地点修墓。谁料峰回路转，这块位于今巨野县金山大洞中的墓地最终未能派上用场。因为，他的身份又一次发生巨大的变化。
