刘贺初登帝位后，压根没搞明白形势，以为还可以像之前在封地那样肆意胡来，于是整日同宫中侍者一起嬉戏玩耍，龚遂见此自然苦苦劝谏，但是结果和以前一样，没有起到丝毫作用。二十七日之后，权臣霍光联合其他朝臣，直接以上官太后的名义将刘贺废为庶人。汉宣帝刘病已登基后，又下诏封其为海昏侯。刘贺的一众跟班，几乎被霍光全数下令处死，除了名声较好的龚遂与中尉王阳二人。这两人因曾多次规劝刘贺而逃过一劫，只是被剃掉头发贬去边境从事苦役，五年后得以释放。
霍光病死后，宣帝刘询逐步稳固了朝政大权。彼时渤海郡饥荒严重、盗贼并起，朝廷一时没有合适人选，于是在丞相和御史大夫的一致推荐下，龚遂于是出任渤海太守。至此，龚遂的仕途终于苦尽甘来，时年七十岁。在赴任渤海之前，宣帝按照惯例会见了他，想要亲自考察一番。由于之前大臣们的一致吹捧，汉宣帝以为龚遂应该是一个伟岸高人，结果见面发现是个白发糟老头，不免有些失望，冷淡地问道：''渤海废乱，朕甚忧之。君欲何以息其盗贼，以称朕意？''
