作为传统的军事贵族，陇西李氏的子孙大都是能征善战之人，无论是开国皇帝李渊还是他的儿子们，都是军事能力较高的统帅，秦王李世民甚至打下了大唐版图的半壁江山。就连被他抹黑的太子李建成，也有着可圈可点的战功。但李博乂似乎是李渊子侄辈中的异类，他非但不带兵打仗，反而整天沉迷声色犬马。李渊认为，这个当大哥的必须得有个当大哥的样子，便语重心长的劝导他："我怨仇有善，犹擢以不次，况于亲戚而不委任？闻汝等唯昵近小人，好为不轨，先王坟典，不闻习学。今赐绢二百匹，可各买经史习读，务为善事。"
李渊希望大侄子能够为李家的天下出一份力，还特地给了他一笔读书的费用，谁曾想李博乂转手就将这笔钱拿去潇洒快活了。对于他糜烂的私生活，史书也是毫不留情："博乂有妓妾数百人，皆衣罗绮，食必粱肉，朝夕弦歌自娱，骄侈无比……为高祖所鄙"。这么个只知道吃喝玩乐、不干半点正经事的侄子，着实让李渊喜欢不起来。玄武门之变后，李世民杀掉了两个一母同胞的亲兄弟登上皇位，对这位没有半点政治威胁的堂哥自然没有杀心。本来从血缘上来讲，李博乂非李渊所生，再怎么夺皇位也轮不到他。
