根据史料记载，李博乂府中有数百伎妾，全都养尊处优，身穿绫罗绸缎。李博乂不仅好美色，对吃食也十分讲究，每顿饭都要有好酒好菜。而且，李博乂还十分"热爱"音乐，他府中不论早晚都是歌声阵阵，昼夜不休。时间一长，李渊也知道李博乂是指望不上了，只给他安排一些不重要的文官差事，但李渊仍时不时会劝导李博乂一番，希望他能良心发现，幡然醒悟。
有一天，李渊语重心长地对李博乂和他弟弟李奉慈说："就算是对于不喜欢的人，我尚且会破格提拔，但为何对于你这个侄子我反而不重用呢？平日总是听说你只亲近小人，总是做一些不靠谱的事，对于圣贤书，从来不肯学习。今天我给你一笔钱，你拿去买些经史，好好学习。"让李渊既生气又无奈的是，李博乂和李奉慈把李渊的话当成了耳边风，他们两个拿着这笔钱吃喝玩乐去了。
