至于司马相如主导的西夷工程，也强不到哪去，巴蜀父老、朝廷大臣普遍反对，认为劳民伤财，没有价值。司马相如没有退缩，又写了一篇文章，指出：
"必有非常之人，然后有非常之事；有非常之事，然后有非常之功。非常者，固常人之所异也。故曰非常之元，黎民惧焉，及臻厥成，天下晏如也。"
也就是说，像西南夷工程这样的非常之功，要筚路蓝缕以启山林，绝不可能一帆风顺，但成功之后，将会造福万方，泽被万古。司马相如要求反对西南夷工程的耆老大夫缙绅先生们发挥模范作用，带头投身西南夷工程中去，"百姓虽劳，请以身先之"。
反对者不依不饶，他们挖出了司马相如在西夷受贿的证据，导致司马相如被罢官。这应该是赤裸裸的诬陷，司马相如是首富的女婿，继承了卓王孙三分之一的家产，有的是钱，是西汉少有的清官，贪污是不可能的。即便确实在西夷违规收受礼品，估计也是照顾西夷的脸面，说他受贿，纯属欲加之罪。
西南夷工程最终还是被暂时搁置了。因为不久以后，汉朝全力投入了更加宏伟的事业，就是对匈奴的战争。元光六年，汉武帝正式发起了对匈奴的反击之战，卫青取得龙城大捷，元朔二年，卫青夺取了黄河大几字湾南北的广大土地，在主父偃的建议下，汉朝在此设立朔方郡、五原郡。
