同时，还要在京城为他建造府第，岳飞辞谢说：“敌未灭，何以家为？” 意思是大敌未灭，要家干什么？这情形，很像汉代名将霍去病的“匈奴未灭，何以家为？”为此，皇帝赵构相当高兴，很亲切地征求岳飞的意见：“你觉得天下什么时候可以太平？”岳飞回答道：“文臣不爱钱，武将不怕死，就可以天下太平。”据说，赵构很吃惊，没有想到一介武夫能说出这么有水平的话。
不久，刚过三十而立之年的岳飞便被封为清远军节度使，成为了整个长江中游的最高军事指挥官。
这个时候南宋局势不稳，再加上赵构还有收复中原失地的抱负，因此对岳飞这类武将委以重任。但岳飞在军事上的才能不容置疑，在政治上的智慧却让人实在不敢恭维，可以说，岳飞之所以最终被杀，与他的个人性格过于刚直，政治智慧低下有着很大的关系。
公元1137年，在赵构的信任下，岳飞已经成了统帅全国五分之三兵力的军事将领。如果君臣之间的关系能够一直这样默契下去，历史可能就要改写了。但以岳飞这样的个性，注定了以悲剧收场。
据史书记载，一天，赵构和岳飞在宫中谈话，当聊得兴起的时候，岳飞突然很莽撞地提出，希望皇帝能尽早解决继承人的问题，此话一出，谈话的气氛立即急转直下。尽管当时岳飞处在最受信任和宠爱的时候，但赵构仍然毫不掩饰地呵斥道：“你手握重兵在外，这种事情不是你应当干预的。”岳飞当时脸色就变了，十分尴尬地退了出来。
要知道当时的赵构因为几年前受到金兵的追杀，惊吓过度失去了生育能力，另外加上唯一的儿子因为意外，才刚死不久，正是心情极度不好的时候，岳飞此时提这个，无疑于揭伤疤，赵构当时愤怒的心情可想而知。
而更严重的是，岳飞作为手握重兵的武将，却对皇位的继承问题感兴趣，显然犯了君王大忌。岳飞对这一点毫无感觉，居然在不久之后给赵构的一封密奏中再一次提到了这个问题，尽管岳飞出于一片忠心，但作为皇帝的赵构肯定不会这么想。
