杨沂中与岳飞有一个最大的不同之处，在于其人品卑劣。杨沂中虽是赳赳武夫，却精于为官之道，善于阿谀逢迎拉关系，与当权的秦桧、张俊等人关系密切，以至于被人戏称为"髯阉"，意思是长胡子的宦官。
杨沂中博得了宋高宗的信任与欢心，进入了皇帝的亲信圈子，是南宋初期宋高宗最信任的股肱心腹，被任命为神武中军统制、龙神四厢卫指挥使，一手掌管南宋禁军。
杨沂中在杀害岳飞和毁掉岳家军的过程中，起到了极为恶劣的作用。
1142年初，秦桧计划向岳飞下毒手，但非常忌惮岳飞手下的岳家军，不敢贸然下手，于是他派杨沂中出面，把岳飞从江州诱骗到临安。对杨沂中毫无戒备的岳飞，就这样陷入秦桧的圈套中，被捉拿入狱。
