李世民登基第八年，太白星屡屡在白天出现，史官就预测这是即将有女皇帝登基。而且当时民间有流传着“唐朝过了三代以后，就会有女皇帝武王取代李氏一族，成为天下的主人。”李世民听了这些言论感到深恶痛绝，可是再怎么禁止，这样的言论还是在民间盛行。再加上古代皇帝都比较注重天象，李世民本人也很苦恼，奈何暂时搞不清楚这个武王是谁。
当时李君羡正好征讨了少数民族，班师回京，李世民就宴请诸位武将。大家都知道，光喝酒也没意思，古人喜好风雅，就喜欢在宴席上行酒令。皇帝提议，诸位爱卿就讲讲各自的乳名吧，轮到他时，他说∶“大家莫要见笑，微臣乳名五娘子。”皇帝听了笑道∶“爱卿既然为女子，又为何如此勇猛健壮？”心下却起了疑，因为“五”与“武”同音，娘子不就刚好是女子？莫不是说他就是取代李氏之人？李世民又想，李君羡的官职名有“武”字，封号里也有“武”字，就连他所属的县也带个“武”字，心里的疑心越发加重了，于是就革了李君羡的官职。
且不说李君羡为何有这么一个乳名，因为历史也没有记载，自然也无从知晓。皇帝革了他的官，这还没完事儿。李世民把他调到了华州任职，不拘泥什么，反正离他越远越好，可是只要李君羡还活着，李世民就不能安心。但是李君羡一直很忠心啊，又没有什么名义杀掉他，怎么办呢？只能等待时机。
