同治皇帝从此对安德海充满恨意，有一次安德海求皇帝给他赏一个字，同治皇帝大笔一挥，写下了一个"女"字。安德海看到这个字气不打一处来，认为皇帝这是在讽刺他不男不女，其实同治皇帝还有一层意思，"女"字就是安德海的"安"字没了头，言外之意就是让安德海小心项上人头，可惜安德海没文化，根本猜不透其中的意思，照样狐假虎威。
要说皇帝没实权，他得罪了也就罢了，可是安德海接下来得罪的人，可是直接要了他的命。恭亲王奕訢非常瞧不上安德海那副样子，总是言语之间对他明朝暗讽，安德海是个记仇的人，就在慈禧太后面前说恭亲王的坏话，最后甚至让他被革了议政王的职务。安德海在北京天福堂大酒楼娶亲的时候，突然从二楼传来一阵笑声，似乎并不把他放在眼里，安德海当时就大怒："今天是本大爷大喜的日子，哪个不长眼的敢在此喧哗？"
恭亲王
说着就往楼上的房间冲过去，没想到一打开门，屋里坐着四位"骨灰级大佬"，他们分别是恭亲王奕訢、两江总督曾国藩、洋人都害怕的左宗棠、山东巡抚丁宝桢。恭亲王笑脸相迎："今天安公公大喜，本王没什么可以送的，就祝你们早生贵子吧。"此话一出哄堂大笑，安德海气的脸都红了，忍不住想要上去和恭亲王理论一番，然而丁宝桢却先出手把安德海打了一顿，还把他请来的宾客全都吓跑了，从这以后安德海算是和恭亲王还有丁宝桢结了仇。
