李元吉还很喜欢打猎，常常跑到人家践踏村民的庄稼，射杀家畜，甚至会驱赶百姓，将惊慌失措的人当成猎物。没过多久，并州百姓无不谈李元吉色变，对其恨之入骨。最终还是被派去辅佐齐王的右卫大将军宇文歆实在没辙，把李元吉做的坏事全都捅给了皇上。李渊一怒之下罢免了李元吉的官位。按说犯下如此滔天罪行，就算是被处死也不过分。结果李元吉仅仅是丢了官，爵位都一点儿不受损失，这说明李渊压根就是在纵容儿子。李元吉对此也很是不服，暗中找了一批人跑到京城大闹，跪在皇宫门前痛哭。问咋回事儿，那些人一口咬定李元吉是被冤枉的。两者一拍即合，被撤没几个月，李元吉又官复原职。
公元619年3月，军阀刘武周派兵攻打太原，"入图晋阳，南向以争天下"。此时刘武周兵锋正盛，背后又同突厥媾和，此次派出2万精兵气势汹汹直奔并州。刘武周阵中有一人名为宋金刚，此君本是隋末农民起义领袖之一，打仗十分了得，此番进攻晋阳的战略就是他想出来的。虽说李元吉在此之前屡立战功，但那些大多都是小打小闹，根本没有独当一面的本事。眼看敌人杀了过来，李元吉吓得不敢出战，就派了车骑将军张达率两千兵马意思了一下，后者没多久便全军覆没。
正所谓"贤臣择主而事"，被俘的张达思前想后，愈发觉得李元吉不是个玩意儿，自己这是被卖了，想着报复一番，便偷偷把晋阳城的情况如实汇报给刘武周。原来，作为李唐龙起之地，同时也是传统的北方大都会，晋阳城早已被打造成一座坚不可摧的超级堡垒，城高墙厚，即便失去外援，城内积粮也可支撑多年。此次刘武周就带了数万兵马，怕是正面无法突破城防。好在李渊虎父有犬子，这李元吉就是个怂货，张达称只要把周围的据点全都打下来，将其包围成一座孤岛，李元吉一定会逃跑，晋阳城不攻自破。
刘武周当即全盘接受，先后拿下榆次、平遥、介州等城池；宋金刚还战神附体，一连挫败多路前来驰援的唐军。果然正如张达所料，惊慌失措的李元吉不顾手下将士，带着一众随从和妻妾连夜出城逃回了长安。
