唯一一次较好机会是建武六年（31），公孙述的骑都尉荆邯看到东方将平，汉兵将向西征讨，就提出过联合一些西部残存势力，像当年合纵连横一样挫败刘秀，大家可以出击中原各自发展势力。结果等刘秀恢复过来，重新解决隗嚣和公孙述时，他们两家很难阻挡刘秀的汉军了。建武八年，隗嚣被灭，部将王元来蜀中投降，公孙述任命为将军。
东汉大将来歙死于征讨公孙述
建武十一年（35）春，征南大将军岑彭（南阳新野人，东汉中兴大将之一，云台二十八将第六位，平定荆州和隗嚣的功臣）发起进攻，汉军进入蜀地至江州（今重庆市），得知江州"城固粮多"，留一部军士围城，主力进攻成都。岑彭顺江长驱到达武阳（今四川眉山市彭山县武阳镇）。
为避免大战，光武帝刘秀写信劝公孙述投降，公孙述说："兴与废都是命运。哪里有投降的天子呢！"汉中郎将来歙（南阳新野人，祖上就与刘秀家族有姻亲，能文能武，地位在东汉功臣中非常高，收复隗嚣和马援等有功，很得盖延、冯异等人敬重）急攻王元、环安，环安派刺客杀来歙；公孙述又派人刺杀岑彭。刘秀为平公孙述连损两大主将，改派吴汉为主帅继续主持战事（来歙遗体回洛阳后，刘秀亲自送葬），次年九月，终于攻破成都。
在最后时刻，公孙述和将领延岑还进行一次绝地反击，延岑说："男儿应当在死中求生，怎能坐着等死！财物是容易聚敛的，不应当吝惜。"公孙述将收藏的金帛全拿出来，招募死士五千多人，在市桥配合延岑，假装建立旗帜，鸣鼓挑战，暗地却派遣奇兵绕到吴汉军后面，攻破汉军。吴汉坠落水中，抓着马尾巴得以逃出。吴汉十分恼怒愤恨，再次追击，彻底将公孙述、延岑等家族全部剿灭。
