无奈之下,石达开只能率军从江西进入湖南,发起了著名的宝庆会战。可惜在湘军的快速回援下,石达开再次战败,手下将士伤亡惨重。无路可走之下,石达开只能选择退回老家广西,想要在当地吸纳义军会党重新壮大。事实证明石达开这条路走对了,他率军进入广西以后,果然很多人前来投奔,其中就包括曹伟人所率领的义军。
曹伟人进入石达开部以后,很快就被封为军师,负责为他出谋划策。而曹伟人很快就提出了一个计划,既然广西、湖南发展不顺,不如远走四川。这样做有三个好处,一来可以避开清军的重兵围捕;二来四川的军事力量相对薄弱,更容易建立起新的根据地;三则是因为四川的地势易守难攻,一旦南下足可以如同刘备一样建立起割据王国,至于曹伟人自己,当然就是诸葛亮了。这一个计划自然遭受到了很多人反对,特别是两湖籍的士兵,他们便就此脱离了石达开,在吉庆元、朱衣点、童容海的率领下离开广西,返回天京,这就是著名的"万里回朝"。
石达开并没有理会吉庆元等人离开,他按照曹伟人的计划,最终还是决定率军远走四川。然而远走四川也没有石达开所想的那么容易,因为进军困难,石达开便将军队分成了三部分:赖裕新为前军,石达开自己率领中军,李福猷率领后军,三军分别从三条路线进军,准备一举攻下成都。