公元634年，李君羡又打败了吐谷浑，带着战利品凯旋而归。李世民十分欢喜，对他大加赏赐。按照这样发展，李君羡完全可以高官厚禄，但命运在此时却跟他开了一个玩笑，导致他身死家亡。
当时民间广为流传的《秘书》中说："唐三代之后，女主武王可取代李氏天下。"此时，太白星又经常在白天出现，占卜者们都认为这是女皇取代天下的预兆。李世民知道后，想起了隋书中的一句话："杨氏将灭，李氏将兴。"李氏后来果然取代杨氏夺得天下，一语成谶。李世民为了保住李氏江山，对姓武之人痛下杀手。
公元648年，李世民宴请武官，行酒令时要按照要求报出自己的小名。轮到李君羡时，李君羡报出了自己的小名五娘子。因"五"音同"武"，再加上李君羡的官职和封号也带"武"字。李世民听后，十分惊骇，但李世民毕竟是天子，在宴席上并未发作。
事后，李世民革掉了李君羡的军职，将他贬为华州刺史。华州当地的人们十分崇尚辟谷术，有一个叫员道信的人不光对辟谷术有研究，对佛法也十分精通。李君羡对此人，十分崇拜，与其来往密切。
