但是，在天京陷落之后，"霆军"的军饷就很成问题了，以前的厘金供应断绝，而且不能在到处劫掠。要让这一支悍军和绿营兵拿一样低的死工资，他们这群整天胡吃海喝，打牌耍钱的人连自己都养不活。"霆军"战斗力虽强，成分却最为复杂，与其余湘军很多都是从湖南本地招收的本分农民兵不同，其所部大多为游民，也就是天地会、哥老会等帮会分子，所以组织性纪律性一直极差。
清廷认为"霆军"这样的武装在没有战事的时候不能长期留在内陆，打算把他们调往新疆作战。而"霆军"不愿意远迁，加上军饷纠纷，干脆就在湖北金口哗变。这支"霆军"总共有8000人之多，实属精锐，但是没有明确的政治目标。只能在首领黄矮子的带领下千里奔赴福建，投奔太平军康王汪海洋部。汪海洋所部太平军虽然号称数十万众，但是大多数并无战力的新编人员，对于"霆军"来投自然是万分欢迎。
但是这次兵变，可谓是直接打了曾国藩的脸，不仅让他一直以来强调的忠君爱国成为泡影，更是给了慈禧用淮军取代湘军的借口。为了挽回颜面，曾国藩亲自命令当时在四川养病的"霆军"老帅鲍超出马率兵前往福建镇压叛军和太平军。
黄矮子所部"霆军"和太平军汪海洋部全力抵抗，特别是新加入太平军的"霆军"所部多次突破清军战线。但由于双方实力悬殊，特别是叛徒出卖，康王汪海洋中枪阵亡。而黄矮子则率军与清军死战，最后大部阵亡，也算是成就了一段传奇。
