但没想到的是，嬴子楚也只在位了三年就驾崩了。于是只有十三岁的嬴政称王，但因为年纪尚小。于是尊奉吕不韦为相邦，称他为"仲父"，吕不韦已经到了权倾朝野的地位。
只可惜拥有如此权力的吕不韦还是太得意忘形了，在秦王嬴政年纪还小的时候，吕不韦竟不顾秦王与他的母亲赵姬私通了。两人常常厮混在一起，直到嬴政慢慢长大。吕不韦知道自己不能这样下去，否则会毁了自己的一切。于是他把嫪毐送到了太后赵姬的身边，赵姬便与嫪毐私通，还生下了两子。
后来嫪毐叛变，想要杀嬴政让自己和太后的亲儿子做秦王，还自称自己是嬴政的"假父"（继父）。事件曝光后，叛变失败。嫪毐的两个儿子被嬴政亲手摔死，嫪毐也被车裂，太后赵姬被幽禁于雍城。吕不韦与此事脱不了干系，受到牵连的他被罢相赶出了咸阳，前往封地河南居住。
