从1181年冬天遭到弹劾罢官到去世的20多年里，辛弃疾除了偶有三两年被起用到福建、浙东等地任安抚使外，其他时间基本都在江西上饶带湖边自己兴建的新家--"稼轩"，过着"我见青山多妩媚，料青山见我应如是"的诗意栖居的生活。
诗意栖居，对于常人应该是一种美好，但对于辛弃疾，却是另外一番心境。辛弃疾并非天生的诗人，他天生是一个将士，对于一个手握宝剑时时准备跃马扬鞭上沙场的将士，有马不能驰骋疆场、有策不能行军布阵、有剑不能奋起杀敌、有志不能报效国家，这才是人生最苦闷和最痛苦的事情。
此后20年，朝朝暮暮，辛弃疾时刻都没有忘记北伐，"绕床饥鼠，蝙蝠翻灯舞。屋上松风吹急雨，破纸窗间自语。平生塞北江南，归来华发苍颜。布被秋宵梦觉，眼前万里江山。"这首《清平乐·独宿博山王氏庵》，就是他赋闲期间苦闷心情的写照。如果说《鹧鸪天》中所谓"味无味处求吾乐，材不材间过此生"，还只是他的自嘲或牢骚的话，那么那首《贺新郎》中的"我最怜君中宵舞，道男儿到死心如铁。看试手，补天裂"，则简直是他浓缩了悲痛和愤懑如雷霆霹雳的呐喊！
在闲得无聊的漫长岁月里，辛弃疾最后真的迎来了一次北伐的机会。宋宁宗嘉泰三年(1203)，宰相韩侂胄开始起用主战派人士，辛弃疾也被任命为绍兴知府兼浙东安抚使，后又被任命为镇江知府，戍守江防要塞京口。
1205年，韩侂胄发动了"开禧北伐"。对这次北伐，辛弃疾虽然精神上为之一振，但此时他已经66岁，年迈体衰，疾病缠身，已经不可能杀敌于疆场了。而更让他忧虑的是，韩侂胄这次北伐主观上是为自己身上贴金，军事准备又不够充分，胜算太少。辛弃疾还因此创作了《永遇乐·京口北固亭怀古》一词，其中"元嘉草草，封狼居胥，赢得仓皇北顾"，表达的便是对北伐的担心。后来"开禧北伐"最后果然以失败告终。
1207年，辛弃疾因病去世，临死口中还在大喊："杀贼！杀贼！"（见于《康熙济南府志·人物志》）
