到了中年以后汉武帝喜欢上了另一个女子叫做李夫人，他和哥哥李延年两个人都是精通音乐的高手，其中有一句诗词在现代广为流传，叫做一顾倾人城，再顾倾人国，宁不知倾城与倾国，佳人难再得，这首诗广为流传，而所说的就是李夫人，她长得很漂亮，而且精通音律，擅长歌舞，虽然出生于平民人家，但她很有心计，在临终的时候，他知道自己脸上非常憔悴，到死也不肯见皇帝陛下一面。
汉武帝为了表示愧疚之情，在李夫人死后对李家亲戚也很照顾，并且封他的哥哥李广利为大将军，可惜李广利并不是一个打仗的料，公元前109年，汉武帝命李广利为大将军带领3万兵马去攻打大宛国，就是为了获得汗血宝马，可惜他的带兵能力比卫青，霍去病实在差了一大截，2万大军损失过半，后来西域其他国家双方夹击，导致汉军横尸遍野，最后只有几百人逃到了敦煌。
这件事情让汉武帝大怒，后来派遣20万大军出征西域，还用10万多人运送粮草，这次战争汉武帝虽然赢了，可惜损失也很大，李广利率领的大军一共有6万多人，最后只剩下1万，花费了朝廷4年的军饷，最后徒劳无功，仅获得了30匹汗血宝马。
汉武帝不仅没有责罚李广利，还封他为海西侯，后来李广利又率领7万大军进攻匈奴，京城发生巫蛊之乱，李广利的家人也被牵扯其中，后来李广利率军投降匈奴，汉武帝一气之下将李家满门抄斩，灭门九族，而李广利前后所葬送的大汉军队超过10万人。
