史载吴玠治军严厉，驭将有方，以身作则，威望甚高。不可想象他能在一片的杀声中，还能金屋藏娇，猎艳渔色，如果真是这样的话，何以治军？何能服众？史书也应该有此一载吧，为何不着一词。
对吴玠渔色的说法缘自于脱脱所修之《宋史》，其采信的是秦桧监修国史时，让其的养子秦熺主编的《高宗日历》和实录，这其中不但不记对秦桧不利之事，也对主战派人物多有诋毁，这其中就包括岳飞和吴玠。所以可以说，《宋史》中"凡所记录，莫非其党奸谀谄之词，不足以传信天下后世"。
除这《宋史》外，其它所有记载吴玠的著录，都对其评价甚高，而对其好色全无一词，这其中包括徐梦莘的《三进北盟会编》、李心传的《建炎以来系年要略》和李幼武的《宋名臣言行录》等。可悲的是，很多人都以《宋史》为正史，对吴玠渔色之事加以采信，并"发扬光大"。
目睹吴家兄弟整个抗金活动的明庭杰，在其所作《吴武安功绩记》中说："虽功高贵显，而居常极简约，至推以予士，刚略无少吝。其卒也，家无余资，至无宅以居"。
