吴芮起兵之后，先是支持项羽，起用刑徒英布带兵，横扫赣、湘、桂一带，威镇江南，闽越王无诸、越东海王驺（两人都是勾践后人）摇等秦朝官吏纷纷投靠吴芮。一时之间，吴芮名动江南，无人能及。由于英布作战勇猛，吴芮后来还将女儿嫁给他，两人成了翁婿关系。
威震江南之后，吴芮跟随项羽攻秦，南征北战，项羽攻占咸阳后，大封各路功臣，以吴芮战功卓著而封他为衡山王，建都于邾（今湖北黄岗），其女婿英布被封为九江王。
楚汉争霸之初，吴芮在巡视洞庭湖时遇见了张良，在张良劝导下，吴芮改为支持刘邦。显然，张良是刘邦派出的说客，就是为了分化项羽势力。吴芮支持刘邦之后，实际并未派兵参与楚汉争霸，而是攻克长沙，消灭长沙的亲项羽势力，在滨临湘水的沃土上，建起长沙古城。
