再后来，他跟随卫青出征，因功封侯。元狩二年，他与霍去病一起出兵攻打匈奴，可是他因为迷路，致使霍去病孤军深入，不过霍去病依然越过居延海，抵达祁连山，歼灭匈奴三万多人。这次他又是缴费换命，成为庶民。
天汉四年（前97年），公孙敖再次担任因杅将军，率领一万骑兵、三万步兵从雁门关出发，与贰师将军李广利汇合攻打匈奴。他与匈奴左贤王交战失利，损失士卒过多，回朝后被判处死刑。他诈称自己已死，逃亡到民间数年。后来发觉，遭到逮捕。
最后他被牵扯进巫蛊之乱中，被汉武帝灭族。他干的另外一件缺德事就是，汉武帝让他去匈奴那里迎接李陵回家，可是他不但没接回李陵，反而诬告李陵替匈奴人练兵，汉武帝勃然大怒，将李陵满门处决，李陵得到消息后，再不敢回汉朝。因为李陵的事情，司马迁被判宫刑。可见这位真不是啥好人。
