最后还有杀霸陵尉的事情。李广一日晚上带了一名马弁出门，在田间同别人饮酒，回来路过霸陵亭时已到了宵禁时分。这时，守护霸陵的霸陵尉也喝醉了酒，他见有人犯禁，便大声怒喝，"呵止广"，禁止李广通行。李广的马弁忙上前打招呼：这是"故李将军"。霸陵尉言道:"今将军尚不得夜行，何乃故也!"意思是说，就是现任的将军也不准犯夜行路，何况你是前任的将军呢?于是毫不客气地"止广宿亭下"，扣留下李广，只让他停宿在驿亭中。
曾几何时，李广叱咤风云，指挥千军万马，却被一个小人物所困，算是尝到了虎落平阳被犬欺的味道。所以，在后世人们的眼里，这件霸陵尉止广夜行的轶事，成了英雄落魄，小人得志的写照，成了"罢官受辱"的一个典故，而霸陵尉也因此成了势利眼的典型，被人们多所指责。唐诗人骆宾王《帝京篇》诗曰:"朱门无复张公子，灞亭谁畏李将军。"杜甫《南极》诗曰:"乱离多醉尉，愁杀李将军。"都认为李广落职失势，受到了霸陵尉的奚落和羞辱，借此感叹世事变迁、世态炎凉。后来李广请求武帝批准，派那个呵止过他的霸陵尉与他同行，到了前方军中，就把那个县尉斩首了。由霸陵尉的无辜被杀，不难看出李广对前事早就耿耿于怀，不然为什么他一朝权在手，便要了人家的性命呢?挟嫌报复以泄私愤，滥用权力以逞一时之快，李将军的心胸气量是不是也太褊狭了一点?
不过后世对李广还是充分肯定的。唐德宗时将李广等历史上六十四位武功卓著的名将供奉于武成王庙内，被称为武成王庙六十四将。宋徽宗时追尊李广为怀柔伯，位列宋武庙七十二将之一。
