但这毕竟只是传说，没什么证据，而徐鹏举也实在没有半点岳飞的英雄气质，整日不学无术，简直是一个纨绔子弟。史书中记载，徐鹏举部下突然造反，他不仅没能平定叛乱，反而落荒而逃，士兵们都称他是"草包将军"。就在徐鹏举任职南京的这段时间里，刘伯温的后人中，有两代诚意伯也在此任职，所以矛盾逐渐产生。
嘉靖十二年，刘瑜继承诚意伯爵位，而他与徐鹏举都自恃功臣之后，彼此都很不服气。《明世宗实录》中记载，在一次阅兵活动中，徐鹏举和刘瑜两人因主次席位产生分歧，两人都想坐到主位上，而且还大吵了一架，刘瑜竟直接带着部队走了，丝毫不留情面，这也让徐鹏举很是尴尬。
