老爹梁商去世后，汉顺帝任命他为大将军，汉顺帝死后，汉冲帝只两岁，太后掌控朝政，任命他和太傅赵峻、太尉李固总领尚书事务。他虽然推辞掉了，但却更加的嚣张跋扈起来。后来汉冲帝又夭折了，他就拥立了质帝,质帝很聪明，但是毕竟太嫩了，他在朝堂上对梁冀说了句：这是专横跋扈的将军。就被梁冀嫉恨了，找了个机会就毒杀了。后来梁冀又迎立了桓帝。
梁冀势力非常的惊人，他这一族前后有七人被封侯，三人做了皇后，六人做了贵人，出了两个大将军，手下门生好友什么的都是高官厚禄。虽然享受如此高的待遇，他仍然不满足，还做了许多大逆不道的事情，比如说，他在河南城西兴建了兔苑，纵横数十里，还收了许多的兔子，为了区别，就在兔子尾巴上做文章，还规定谁触犯了这些兔子，就要犯下死罪。有一个外地商人不清楚，误杀了一只兔子，因为这个被处死罪的人有十几个。
汉桓帝起初认为他有拥立之功，还专门召集朝臣给他封赏，久而久之知道这人是喂不饱的狼，还有可能危害自己，所以就召见尚书，公开他的罪行，派黄门令具瑗带着一千多人，和司隶校尉张彪一起包围了梁冀的住宅。于是乎，梁冀的实力瞬间崩塌，牵连的人也非常的多，等皇帝上朝的时候，发现整个朝廷都空了，由此可见梁冀的势力有多么庞大。
