大成国的出现让广西一片混乱，李文彩也觉得堂堂定国公，在山沟里蹲着不伦不类，便在梁昌的策应下杀出平南圩，接连夺下永淳、横州、灵山，1856年端午节，他一举拿下南宁府，声威大震，号称有步兵10万，战船近千，成为广西有头有脸的实力派。
1859年，太平天国翼王石达开部从湖南宝庆退到广西庆远，第二年6月，因为大量部众北上回归天京，他率部南下故乡贵县。这时李文彩的日子也不好过，由于远离大成国核心区，他的地盘遭受清军巨大压力，最终在1860年9月丧失，他不得不退到桂北的怀德县，再从怀德梅寨退往贵州。在贵州，他遇到了太平天国将领曾广依，曾是国宗石镇吉的余部，与李文彩有过合作，此时石镇吉主力已经覆灭，两支无家可归的人马同病相怜，可谓一拍即合。
1861年8月21日，浔州失陷，大成国覆灭，残兵败将逃到贵县一带，投入石达开军，使得后者重新具备了远征的实力。鉴于大成国的灭亡让贵县失去屏障，石达开在这年9月带兵离开贵县，在湖南兜了个大圈子后，抵达了湖北来凤。这时曾广依、李文彩也到了这里，两支饱经沧桑的部队在异乡会师。李文彩握有相当实力，又任劳任怨地跟着太平军转战千里，让石达开十分赞赏，随即封他为亲天燕。燕爵是从燕王秦日纲封号演变而来，在天京序列里只是王、天将、朝将、神将、主将、义爵、安爵、福爵下的第九级，六爵（义、安、福、燕、豫、侯）中的第四级，在后期最多算"中层干部"，但翼王离开天京时，只有燕、豫、侯三等爵位，燕爵是翼王部下中最高爵位，李文彩初来乍到就被封为燕爵，可见石达开对其赏识之深。
