隋唐时期，南京的城市地位一落千丈，钟山和玄武湖也都被冷落。大书法家颜真卿任升州刺史时，一度改玄武湖为''放生池''。南唐时期，玄武湖一度复兴，以致南唐大臣冯谧贪恋湖中''名目胜境，掩映如画''，而向皇帝提出将湖赠给他为私园的请求，此事因遭到徐玄的阻止才作罢。
两宋至元代的近400年间，钟山及玄武湖均未受重视。钟山、玄武湖都在东、北郊。玄武湖在北宋年间一度还被江宁府尹王安石''废湖为田''，直到元代才逐渐蓄水还湖。200多年后复活的玄武湖面积比之六朝时期已大为缩小。
朱元璋建立明朝后，在洪武初年，朱元璋下令重修玄武湖，在湖中的小岛上修建了一个秘密场所，更是把此地彻底封禁，禁止除了他自己外的任何人靠近此地。朱元璋让这里成为贮存全国人口、田亩档案(时称''黄册'')的''黄册库''所在，时人无奈写诗说，''为贮版图人罕到，只余楼阁夕阳低''。
