后来在刘文静与薛举对战的时候，刘文静自视甚高，不听手下殷开山的建议，结果贸然出兵，导致大败而归，一路逃回长安。此时李渊非常生气，不仅打败仗了，还把军队都折腾没了。随后就给拿掉了他宰相的职务，让他担任一个尚书，以后立功了再说。
可刘文静非但不感激唐高宗，没有治他损兵折将之罪，还心生抱怨，经常在朝廷发牢骚。特别是这时候的裴寂官职已经远在他之上，于是开始处处与裴寂为敌，以泄心中的不满。表面上看起来是对裴寂不满，其实深层次是抱怨唐高宗对他不重视。渐渐的李渊也感觉到了，但刘文静毕竟一朝功臣，也就没有跟他计较过多。
谁知刘文静却更加变本加厉，这导致与裴寂之间的关系严重恶化。有一次在家中喝酒，一喝酒喝多了，又开始抱怨起来，并且声称要斩杀裴寂，还说了不少皇上的坏话。这时正好家中的一个失宠小妾听到了这番话，原本就对老爷怀恨在心。这下她直接把这话转告了在朝为官的兄长，要他向皇上告密此事。
