李渊和窦夫人共生了四个儿子，长子（隐太子）：李建成，次子：李世民，三子：李玄霸，也就是《隋唐演义》中，大名鼎鼎的李元霸的原型，和四子：李元吉。
论民间的名气，李世民排第一，李元霸第二，李建成第三，李元吉最后，以至于许多人都不知道，李世民还有李元吉这位弟弟。反而对民间演义中的李元霸，充满了各种八卦，比如力气大的骇人，还比如长相怎么那么丑？跟李世民一比，根本就不像亲兄弟。
李元霸长得丑，这是《隋唐演义》的说法，不过这个说法，也是有根据的，那就是李元吉，就长得非常丑。以至于连亲生母亲，窦夫人都想淹死他完事。幸好被一位叫陈善意的宫女给救下，养活了。
李元吉虽是李渊和窦夫人最小的孩子，却由于太丑，根本没享受到过宠爱。恐怕也正是因这一点，使得李元吉的心理发生了问题。在李元吉长大后，由于喜欢舞刀弄枪，且下令让手下人，真刀真枪的操练，经常发生事故，养娘陈善意劝阻他。
