1860年7月，石达开威望跌落之谷底，没了外出创业时指点江山之激情，此时他只想做一介布衣，归隐山林，与妻儿过着幸福的小日子。石达开之心情，也好理解，毕竟单干了三年之久，连像样的胜利也没有，还整天被杂牌军追着吊打，丢尽了脸面。
归隐山林，理想很美好，现实很骨感。首先，清军允许吗？翼王石达开乃是"首义五大王"之一，朝廷多位总督、巡抚死于其手，岂能允许他归隐呢。再则，广大将士追随石达开创业之目的，就是建立功勋，封侯拜将。此时，石达开打退堂鼓，部将之心情可想而知。
石达开要归隐山林，不问世事。彭大顺、朱衣点、童容海、吉庆元、汪海洋、谭体元等七十位大将非常不满，便建议翼王北上天京，向天王认罪。谁知，石达开果断拒绝，彭大顺等人直接拉走20万兵马，脱离石达开，北上天京，史称"义军东返"。
20万大军自然不是百战精锐，而是石达开败退广西途中，沿途招收的大量天地会、流民、地痞、散兵游勇、土匪等，典型的杂牌军。所以，20万大军北上，并非势如破竹，被清军截杀了不少。例如，彭大顺，混战中被小兵打死。
