石显还对一直反对他的周堪始终耿耿于怀，伺机将其除掉。周堪免官被元帝召回时，元帝本想任他做谏议大夫，因为石显的从中阻挠，才做了郎官。后来升为光禄勋，受到元帝的信用。这时，他引荐了张猛入朝为官，张猛被任为光禄大夫。他和张猛很快又被封为给事中之职，常常与皇帝研讨政务，这使石显大为不安。
公元前43年，气候异常，夏季寒冷，日青无光。石显以此为借口，说是周堪、张猛在朝中的权力过重而惹怒了上苍，劝谏元帝逐二人出朝。元帝听信，调周堪离京去任河东太守，张猛为槐里县令
周堪、张猛离朝不久，皇帝庙阙发生火灾，而后又出现日蚀，元帝质问石显∶''为什么周堪、张猛出朝，天不复常，反而愈变愈异?''石显无以对答，只好请求皇帝免罪。元帝又将周、张召回朝廷，令周堪领尚书事，张猛仍为给事中。
周堪根本控制不了以石显为首的宦官集团，而且一些政事奏章还得由石显传奏皇帝，气得周堪无计可施。不久，周堪因气得疾，愤然而死。张猛接着也被逼死在公车署。
一时间，公卿以下官吏，都慑于石显的淫威，敢怒而不敢言。在朝的大臣也不顾国事，开始争权夺利；地方官吏败坏法纪，欺压百姓。十年之间，西汉王朝日渐衰退。
公元前33年五月，汉元帝病亡。六月，成帝刘骜即位。石显虽然为拥立刘骜继位出过力，但新皇帝并不喜欢他。成帝将他提拔为长信中太仆，削夺了他执掌中书衙门的权柄。这时的石显，失去了靠山元帝，朝中大臣份份上书，揭露他的丑恶罪行。于是，石显被免官遣归故里，其同党均被免官降职。?石显带着家人狼狈不堪地离开京城长安，在回归家乡的途中，他积忧而生病，拒绝饮食，结束了奸诈罪恶的一生。
