为了能够重新崛起，1863年8月他抢了常胜军"高桥号"轮船，购了大量军火，去了苏州投奔太平天国去了。太平天国接受了他，而且他还为太平天国吸引了之前的一些老部下过来。眼见时机成熟，他提出要单独带领军队，可是洪秀全还是不信任他，唯恐有诈，便拒绝了他。
太平天国虽然没有给他军队和权力，他的本领施展不开，但是太平天国给了他极高的荣誉。比如他旧病复发时，洪秀全就派慕王用隆重的军礼，浩浩荡荡地送他回上海治病，把他感动得稀里哗啦的。
因为这件事，他对外放话说永远不会背叛太平天国。总而言之，他的粉丝还是很多的，所以这话一放出去就引发了洋枪队的骚乱，引起了美军的重视。美军赶紧派人把他软禁在日本，不许他再到中国。
他在日本的这段日子里经常找机会要逃回中国，后来由于日军看管不严，让他逃到了厦门。他刚刚有点异动，李鸿章就得知了消息，派人将他抓了起来，后来在运往苏州途中，被李鸿章下令溺杀。
