早在李隆基当临淄王的时候，他的宠妃主要是赵丽妃、皇甫德仪与刘才人，他们分别生了太子李瑛、鄂王李瑶、光王李琚。
等到武惠妃来到李隆基身边之后，三个妃子都相继失宠，武惠妃后来生下寿王李瑁。
李瑛、李瑶与李琚三人常为母亲不得宠而闷闷不乐，平日里多有怨言。
驸马杨洄娶了武惠妃之女咸宜公主，武惠妃给他派了一个任务，每天观察太子李瑛有何短处。
当当李瑛他们平日里的言语积累到一定地步之后，武惠妃开始发力了，她向唐玄宗哭诉说太子结党营私，想要谋害她们母子。
“小子们敢构陷我的爱妃，这还了得！”唐玄宗闻言后，非常震怒，欲废太子。
但唐玄宗的想法遭到宰相张九龄的极力劝阻。
恰在此时，武惠妃因为一事操之过急，反倒是弄巧成拙了，她秘密派官奴牛贵儿对张九龄说：“有废黜就有兴起，太子废立之时，如果您能够加以援手，自然可以长保宰相之位。”
“有废必有兴，公为之援，宰相可长处。”（《资治通鉴·四一二卷》）
张九龄听了此话，断然斥责，并把此话告诉了唐玄宗，唐玄宗听后为之变色。
原来武惠妃武则天的侄孙女，当年武则天篡夺李唐江山的历史还历历在目，所以听到武惠妃的传话，不由得惊出一身汗来——这不又是一个外戚干政吗？
于是，废太子之事被暂时搁置下来。
不久，张九龄罢官，李林甫取代其位。李林甫有“口蜜腹剑”之称，善于揣摩武惠妃的心意。
搬掉了张九龄这个拦路石后，武惠妃和李林甫共同发力，再次构陷太子，诬告太子谋反，这次他们得逞了。
在唐玄宗关于太子的废立犹豫不决之时，李林甫说了关键的一句话：
“此陛下家事，非臣等所宜豫。”（资治通鉴卷二一四）
