此后，有汉使到匈奴，李陵对使者说："吾为汉将步卒五千人横行匈奴，以亡救而败，何负于汉而诛吾家？"使者说："汉闻李少卿教匈奴为兵。"李陵说："乃李绪，非我也。"李绪本来是汉朝的塞外都尉，驻守奚侯城，匈奴来攻便投降了。单于对他优礼有加，坐次在李陵之上。李陵恨他为匈奴练兵而使自己全家被诛，便派人刺杀了李绪。大阏氏要杀掉李陵，单于把他藏到北方去了，大阏氏死后才回来。
在匈奴，李陵本想效仿古代曹沫挟持齐桓公的故事，准备挟持匈奴单于。但是汉武帝诛灭了他的家人，使得李陵最终心灰意冷，长留于匈奴。
他们虽见到了李陵，但不能私下讲话，便用目光向李陵示意，又几次把佩刀上的环弄掉，趁捡环时握住李陵的脚，暗示他可以回汉朝去。此后李陵、卫律备牛酒慰问汉使，一起博戏畅饮，他们都穿着匈奴的服装蓄着匈奴发式。
任立政大声说："汉已大赦，中国安乐，主上富于春秋，霍子孟、上官少叔用事。"想用这些话使李陵动心，李陵沉默不语，又不经意地摸着头发说："吾已胡服矣！"过了一会儿，卫律起身更衣，任立政说："咄，少卿良苦！霍子孟、上官少叔谢女。"李陵说："霍与上官无恙乎？"立政说："请少卿来归故乡，毋忧富贵。"李陵小声对任立政说："少公，归易耳，恐再辱，奈何！"?话未说完，卫律回来了，好像听到了他们最后的话，说："李少卿贤者，不独居一国。范蠡遍游天下，由余去戎人秦，今何语之亲也！"说罢告辞了。
