在史料上关于李世民和她们的矛盾来源是有记载的，当时李世民平定洛阳不久，立了功自然少不了赏赐，李世民获得了不少的宝贝，可以说是价值连城，尹德妃就找李世民要一部分，而且想让李世民收了自己的人去他底下当官，也就是走后门，可是李世民却觉得这样不太妥当，于是尹德妃惨遭拒绝，矛盾也就此开始。
被拒绝以后的尹德妃记下了这个让自己恼羞成怒的时刻，她多次在李渊面前说李世民的坏话，因为不喜欢李世民，所以就殃及池鱼，有一次李世民的部下杜如晦从尹德妃父亲的府宅门前经过，结果却被下人拦截，质问他经过大人门前为何不下马走过去表示尊敬，而且还殴打杜如晦，甚至打断了他的手指。
然后尹德妃还恶人先告状，说李世民的部下狗仗人势，竟然欺负自己的父亲，李渊看到宠妃梨花带雨的样子，当即就叫来了李世民，把他骂了一顿，任凭李世民怎么解释，李渊都听不进去，就这样被尹德妃倒打一耙了。
李世民和张婕妤的矛盾则是来源于一块土地，当时李世民把一块地给了自己的堂叔安海王李神通，可是巧合的是，张婕妤竟然在几乎同时的情况下，让李渊把这块地赐给自己的父亲，爱妃都发话了，李渊自然照做了，他都拟好了圣旨，但还是慢了一步，因为地已经被李世民送出去了。
