直到1221年，岳飞的孙子岳珂，从智果寺买了寺庙一部分，迁葬了岳飞。当时的位置就是今天岳飞的坟墓所在地。就是岳珂，后来整理岳飞资料，写了一本（金陀粹编）。不过，夹杂了许多神化的故事。
南宋时，岳飞一直是个冤案，并没有把岳飞抬到民族英雄的地步。岳飞死时已经十八岁的陆游，两岁的辛弃疾，他们的诗词里也没有提到岳飞。所以，修好坟的初期，智果寺常常侵占岳家的土地。
元朝时，有个杭州路总管叫李金初与杭州乡绅黄国，他们捐资修了岳飞坟，并且修建了岳飞庙，种了大量的柏树松树。这是官方第一次出资修岳庙。
明朝初年，有过两次小规模的修庙。此时，岳飞的定位是一员被冤杀的名将。
明朝两次大事件，岳飞身份开始拔高了。第一次是土木堡之变之后，当时有个杭州人于谦被冤杀。于谦生前非常仰慕岳飞。于谦平反后，岳飞开始有了官方祭祀。第二次是嘉靖年间，倭寇大肆烧杀沿海，曾经攻入杭州，如入无人之境，劫掠了一番，雷峰塔也被倭寇烧了。人民希望有关羽一样的人来保境安民，岳飞就在此时被选中了。从此，岳飞成了英雄。值得一提的是，我们耳熟能详的（满江红），第一次出现，并且刻在了岳庙石碑上。
