也就是在公元前127年（建元二年），茂陵刚刚兴建，汉武帝接受主父偃建议，借着修陵的名义，将国内富豪和士绅之家都迁往茂陵附近居住，迁徙的标准是家产三百万以上。而当时的关中大侠郭解已经名声在外、家底殷实，家中财产早已过亿，自然就在迁徙之列。但郭解不想迁居到茂陵，便去求卫青，让卫青替自己向汉武帝求情。于是卫青便上书汉武帝说，这次迁徙名单里有个叫郭解的人，他是家徒四壁、非常贫穷，所以不应该在迁徙之列。
汉武帝回答说，郭解如果真的是一介布衣、家徒四壁，他怎么可能有能耐找到大将军，而且居然还能使大将军出面替他说情呢？可见此人家境殷实。所以汉武帝拒绝了卫青，把郭解一家都迁往茂陵，同时派人去查郭解。
公孙弘画像
