追随陈玉成，备受冷落，被"遗弃"皖南山区
1859年秋，韦俊忍无可忍，投降清朝湖北巡抚胡林翼，并派黄文金率军攻打芜湖，作为见面礼。黄文金呢？带兵出发不久，半路"酒醒"，放弃攻击芜湖，转而掉头支持杨辅清攻打池州，与韦俊作战。
半路"酒醒"，黄文金没投降清朝，但"名声"已经很糟糕，洪秀全对他并不信任。为防止黄文金"投降"，洪秀全将其改隶陈玉成麾下。如此，黄文金就成了陈玉成部将。从资历上看，黄文金是老资格，自然不服从管教。能力上，两者旗鼓相当，不遑多让，陈玉成压不住他。
陈玉成呢？年轻气盛，又喜欢重用家族人员，对黄文金十分"冷落"，将其"遗弃"在皖南山区，自生自灭。1860年，太平军东征苏常，陈玉成为在苏南站稳脚跟，派黄文金去常熟镇守，结果很惨。李秀成想独霸苏南，黄文金就是陈玉成的"钉子"，李秀成自然不能容忍，直接将其赶回去。
