既然没有嫡子，所有的儿子都是庶子，而她武惠妃在宫中地位最高，理应是她的儿子来做太子，于是她开始为刚刚和杨玉环成了亲的李瑁筹谋。李瑁要想上位，则太子李瑛就得下来，毕竟太子只能有一位，未来的皇帝也只能有一位。
这个时候武惠妃的女婿杨洄就发挥了作用，他时刻紧盯着李瑛的一举一动，以期能发现李瑛的错处。而李瑛、李瑶和李琚因为其生母失去李隆基的宠爱而怪罪于武惠妃，于是双方之间的矛盾在一步步发酵，武惠妃时常在李隆基跟前编排李瑛的错处，给李隆基心中插了一根刺。李隆基曾召集宰相议事废黜太子，不过在张九龄的劝说下，李隆基暂时放弃了废黜的想法，这让武惠妃非常生气。
张九龄罢相后，李林甫成为宰相，并开始支持李瑁，于是李瑛失去了保护者，737年，武惠妃和杨洄设计让李瑛、李瑶、李琚以及太子妃的哥哥薛琇进宫抓贼。
然后武惠妃就将四人全副武装并带领士兵进宫之事告诉了李隆基，说他们要反，人证物证俱在，这一次，再没有人保着李瑛。唐玄宗找宰相议事的时候，李林甫说："陛下家事，非臣所宜豫。"然后唐玄宗就放开手下令了，将三个儿子贬为庶人，史称"三庶人"，不久他们就死了。
