石达开出走后，沿途散布告示，鼓励原来的老战士加入自己的队伍。石达开这一招非常有效，一路上有很多太平老战士跟随，人数达到十万之众。此外，还挖走了太平天国很多人。石达开带走的至少是一半的太平天国兵力。但在军队进军湖南宝庆时，却受到了刘长佑的阻击军队受挫，很多人都离开了。
所以，石达开只能领着残余队伍前往广西。
广西本来是贫穷人起义的地方，而现在，石达开的军队却驻扎在广西，连饭都吃不饱，使得队伍里的将士只觉前途渺茫，无意继续打仗。没有办法，石达开只能在1861年，领着最后的一万人进入湖南，然后，向边境进军，向四川进发。四川是天府之国，地域险要人民富强。
四川总督知道石达开要来，于是，加派人马准备迎敌。1863年，石达开绕开四川的布防，前往贵州一带。贵州虽然地势险要，但却是穷乡僻壤。在这里，石达开经常被苗族人打劫。当军队来到大渡河时，他们遇到了当地人和清军的夹击无法动弹。之后，由于粮草紧缺，受饥饿的士兵们没有任何战斗力。
