丘行恭自恃救驾功高盖世，对同僚无理傲慢，把谁都不放在眼里，同僚们大都不与其一般见识，或惧怕、或忍让，惹不起总躲得起吧？"行恭性严酷，所在僚列皆慑惮之。"（《旧唐书》）但是一旦你老丘有把柄落到我们手里，嘿嘿，看你的哈哈笑不说，在皇帝面前再肿上你几句，也够你姓丘的小子受的……终于不负备受丘行恭欺凌的大臣们所愿，机会来了，丘行恭犯法了，奏他一本的时候到了。
在古代，实行一夫多妻制，但是"多妻"也是受法律保护的、有严格等级划分的。正房是众多小妾当仁不让的大姐大，小妾们除了生前听命于正房之外，死后也得任从正房之子（嫡子）安葬，哪怕是小妾自己亲生的儿子也无权过问。这是有法律依据的，如果小妾的儿子不服从嫡子（正房的儿子）安葬生身母亲，就是犯了违反纲常的忤逆不悌之罪，是要坐牢的。
丘行恭是其父丘和的小妾所生，母亲去世后，丘行恭因与嫡兄丘师利争抢埋葬母亲，而与嫡兄发生争执，自家兄弟关上门怎么吵都行，可偏偏闹的沸沸扬扬，被他得罪过的大臣抓住把柄告到法司，李世民不得不依法剥夺了丘行恭的爵位、罢了他的官"贞观中，坐与兄争葬所生母，废为民"（《新唐书·卷九十·列传第十五》）。虽然几个月后，李世民念其有功，丘行恭又得以官复原职，但为母尽孝是人之常情，本该睁一眼闭一眼的小事，却被同僚依法弹劾，可见丘行恭的人缘混的有多差。
李世民一向奉行以仁治国，但丘行恭的又一次行为违背了李世民的治国方略，也是造成丘行恭落榜凌烟阁的直接原因。
