《旧唐书》记载："曾未奏请，辄配没无罪人，又私取宝物。将士知之，亦竞来盗窃，君集恐发其事，不敢制。"
翻译过来就是，侯君集犯了三个错误：其一就是在没有奏明皇帝的情况下，擅自将没有罪的人发配了；其二就是扣了不少高昌国的宝贝；其三则是在其二的基础上，侯君集只能看着自己的部下也抢掠财物。
这些罪证传到京城，自然有司就定了侯君集的罪，等他一回到京城，就进了大狱。不过侯君集在狱中待的时间并不长，一来李世民觉得这样做似有不妥，毕竟侯君集灭了高昌国，这是大功一件；二来岑文本也上疏为侯君集求情，奏疏的大体意思是"命将出师，主于克敌，苟能克敌，虽贪可赏"。
李世民顺水推舟就将侯君集放了出来，虽然这件事表面上来看过去了，但是在侯君集这里始终没有过去，就如同他所发的牢骚一样："我平一国，还触天子大嗔，何能抑排！"这成了侯君集的心病，而君臣之间的关系也出现了裂痕。
