他生前对手下士卒很不错，"得赏赐辄分其麾下，饮食与士共之"。他家无余财，死前"终不言家产事"。他的口碑很好，人们说他"天下无双"。他为人木讷，不善言辞，闲暇就是射箭和喝酒，司马迁在《史记》中形容他"桃李不言，下自成蹊"，推崇他的人格感召力。
他的家族却厄运连连。
李广有三个儿子。老大李当户在汉武帝身边做官，有一次汉武帝和他的男宠韩嫣在一起，韩嫣言行放肆，李当户看不惯，便起身追打韩嫣。汉武帝从此认为李当户是个勇士。可惜李当户很早就去世了。老二李椒曾任代郡太守，不过也很早就去世。他们都先于父亲李广而死。
李广自杀时，他的小儿子李敢是骠骑将军霍去病麾下的一名校尉。李敢追随霍去病讨伐匈奴左贤王，奋勇杀敌，夺得左贤王的令鼓、令旗，获得汉武帝赐爵关内侯。
但父亲之死，对李敢的刺激很大。他一直在寻找机会，为父报仇。他后来射伤了大将军卫青，卫青没有声张，隐瞒了此事。
