但不久之后，两人之间隔阂渐生，关系逐步恶化。唐玄宗有自己一套独特的用人之道，他虽然赐予王毛仲一连串金光闪闪的职衔，"授辅国大将军、左武卫大将军"，"开府仪同三司"，但遗憾的是，这些只是荣誉头衔。
王毛仲的真正职务，则是"检校内外闲厩都知监牧使"，说白了就是御马监，给唐朝皇帝和军队养马，与"弼马温"孙悟空同行。唐玄宗囿于王毛仲的奴仆出身，并不肯赋予他实际兵权和参与朝政之权。王毛仲曾向唐玄宗索求兵书尚书之职务，被唐玄宗拒绝，使得他为此极度不满。
《资治通鉴》记载，王毛仲家喜得贵子，唐玄宗赏赐他"酒馔、金帛甚厚，且授其儿五品官"，派高力士前去传旨。王毛仲一听皇帝只肯授予儿子一个五品官，大为不满，说："此儿岂不堪作三品邪！"结果高力士回去就向皇帝打了小报告。敢当众嫌弃皇帝的赏赐太薄，属于"大不敬"，唐玄宗为此勃然大怒。
