辛弃疾虽然提出了如此切合实际的战略，然而，宋金刚刚议和，时机不允许；宋孝宗刚刚因北伐毁掉了仅有的一点兵力优势，他心存犹豫和畏惧；加上宋高宗虽然退位了，但他还想保持安逸的现状，不想拿他太上皇的帽子去作赌注。所以，辛弃疾一腔热血，浑身胆识，换来的只是一声叹息。
之后十数年，辛弃疾先后出任过滁州知州、隆兴知府兼江西安抚使、湖北转运副使、潭州知州兼湖南安抚使等职。在这些任上，辛弃疾作为地方官，薄征赋、招流民、教民兵、屯田地、平盗贼，所治之处，政绩不凡。
1180年，在湖南安抚使任上，辛弃疾以"湖南多盗"为由，开始白手起家创建军队。不久，一支2500人的"湖南飞虎军"组建成功。此军经过他的精心训练后，军纪严明，军备精良，军力强大，成为南宋地方武装中最著名的一支劲旅，《宋史》称其"雄镇一方，为江上诸军之冠"。然而，辛弃疾直率果断的性格和对于北伐百折不挠的精神，在对外胆怯、对内倾轧的政治氛围中，却成了别人眼中的"出头鸟"，关于他"用钱如泥沙，杀人如草芥"的议论甚嚣尘上，一些不满他的人开始在宋孝宗面前弹劾他，他旋即遭到罢官。
从1181年冬天遭到弹劾罢官到去世的20多年里，辛弃疾除了偶有三两年被起用到福建、浙东等地任安抚使外，其他时间基本都在江西上饶带湖边自己兴建的新家--"稼轩"，过着"我见青山多妩媚，料青山见我应如是"的诗意栖居的生活。
