当时的岳飞，主要负责江西、湖北一带的抗金，牛皋受朝廷派遣，加入了岳家军，成为了岳飞的手下（《说岳全传》中，岳飞和牛皋是拜把兄弟）。
牛皋在岳飞手下，屡立战功，包括生擒王嵩，活捉杨幺等。声名远扬，成为了百姓口中为人称道的抗金名将。在演义小说中，牛皋最为人熟知的恐怕是"笑死牛皋，气死金兀术"这一段了。
书中写道，牛皋本是大罗神仙赵公明的坐骑黑虎，而金兀术乃天上赤须龙转世，是玉皇大帝故意派下凡间扰乱大宋江山的。牛皋在和大金的金兀术对阵的时候，在岳家小将的帮助下，活捉了金兀术。牛皋为了羞辱他，故意在金兀术的身上骑上骑下，这才有了演义中所说的"虎骑龙背，气死金兀术，笑死牛皋"。
可这毕竟只是演义小说而已，在真实的历史上，牛皋其实是被秦桧毒死的。
