此时的南宋建都临安，偏安一隅。金兵时不时的就要放出风说要"搜山检海捉赵构"，吓得他惶惶不可终日，一直想着南窜，但被李纲坚决拦了下来。而后，李纲主张处罚那些在金军破城时的投降官员，尤其是这个伪楚皇帝张邦昌。高宗最后还是放过张邦昌，只判了个革职流放。究其原因有两点：一则是宋朝有不杀士大夫的祖训；二则是怕得罪金人。当然主要还是第二条，因为这已经涉及到谋逆的大罪，不杀士大夫的祖训在这里根本说不通。
后来，李纲屡次逆龙鳞，上书力主抗金。但高宗已经对他厌烦至极，再加上黄潜善和王博彦两个人极力诋毁李纲，使得高宗对他越来越疏远。但由于李纲的民望甚高，高宗只能升他为左相，黄潜善为右相，王博彦知枢密院事，如此则对其形成钳制之势。这使得李纲处处掣肘，根本不能顺利实行自己的政策。是时，两河军民自发建立山水寨以保卫家乡，抗击金兵。李纲任命一些主战派官员前往收复失地，但都被黄、汪二人给撤换。就这样，白白错失了收复两河地区失地的大好机会。事后，李纲上书痛斥二人，但无奈高宗偏袒二人。黄潜善憎恶李纲，便指使言官上书弹劾李纲。李纲愤而辞职，但高宗只是虚情假意挽留一番，便将其解职。
就这样，前前后后不过才75天，高宗就将其罢了相。李纲有着长远的战略眼光和勇于任事的务实精神，但朝廷容不下他，只能退居江湖了！即便是这样，在这短短的75天，他殚精竭虑，提出了很多有效的方针策略，使得这个风雨飘摇的南宋王朝能够初具规模，安定下来。他的功劳不可谓不大，就连宋代的理学大家，被人们认为是仅次于孔子的儒家第二号人物朱熹也评价他是"一代伟人"！
李纲罢相遭到了朝野很多有识之士的愤慨。如太学生陈东抬着棺木请求高宗罢免黄汪二人，并且重用李纲。另外一位布衣之士欧阳澈也批评高宗沉湎于酒色。恼羞成怒的高宗对二人毫不留情，为了起到杀一儆百的震慑作用，将他们斩杀于应天府东市。
