侯君集取得了盖世功劳，同时也犯下了弥天大错，他私取高昌宝物，据为己有，上行下效，他的部下很快将高昌宝物抢掠一空。战争中的掳掠本来就是司空见惯的事情，因为这能极大地提高军队的战斗力，但是御史大人们并不这么认为，他们接连对侯君集进行了严厉的弹劾，率部归来的侯君集很快被下了大狱。中书侍郎岑文本挺身而出，为侯君集作了精彩的辩护。他列举了陈汤等前朝大将的故事，希望唐太宗记人之功，忘人之过，并引用黄石公兵法作为论据，军法曰："使智、使勇、使贪、使愚，故智者乐立其功，勇者好行其志，贪者邀趋其利，愚者不计其死"，所以以前的明君用人，必然用人所长、弃人所短，不会轻易委屈功臣大将。唐太宗深以为然，下诏释放侯君集，不再追究他的过失。
虽然侯君集虚惊一场，但有功不赏，一直让他怏怏不乐、耿耿于怀。人性本是复杂的，侯君集并非胸怀宽广的谦谦君子，做事一向随心所欲，不畏人言。他家里养着好几个奶妈，就是为了自己每天可以喝到新鲜的人奶，穷奢极侈，以此为甚。虽然唐太宗待他不薄，却远远没有满足他所期望的要求，俗话说，富贵险中求，他要在皇太子李承乾的身上找到登峰造极的荣华。
此时的李承乾也正惶惶不可终日，他已经多次遭到李世民的训斥，担心自己的太子位随时不保，知道侯君集对皇上不满，正好拉他一同入伙。侯君集的女婿贺兰楚石当时是东宫属官，为两人见面牵线搭桥，他们多次在一起策划政变，侯君集曾举手对李承乾言道，"此手当为殿下用之"。
