明孝宗继位后，刘大夏受到重用，先到广东担任布政使，后升任右都御史、兵部尚书。他曾到山东治理黄河水患、到宣府处理兵饷事宜，都是让人挠头的事，但他不畏艰难，勇于担当，圆满完成了任务。他不怕得罪人，裁减冗官冗员，倡导勤俭节约，减轻百姓负担。刘大夏担任兵部尚书的时候，刘健、马文升等人执掌内阁，这些人都是清正忠直的大臣，大家一起辅佐明孝宗朱佑樘，创造了"弘治中兴"的盛世局面。明武宗继位后，权宦刘瑾专权，朝政日益腐败。刘大夏坚守清廉本色，多次向皇帝进谏，要求裁撤各地的镇守太监，禁止宦官专权，但都不被武宗采纳，他失望地辞官还乡。
刘瑾等人没有放过刘大夏，他们捏造罪名，想置刘大夏于死地，在一些大臣的解救下，刘大夏保住了性命，但被发配到了偏远的肃州。他当时已经73岁，走时只带了一名仆人，有人问他为啥不带家人，他淡然一笑说："我做官时，没有替家人捞好处，现在我遭难了，也不能让他们陪我遭罪！"后来刘大夏被皇帝赦免，刘瑾被诛，他又重新任职。1516年五月三十日，刘大夏病逝，享年81岁。死前他已经给自己写好了墓志铭，并说："不要让别人用饰美之词，让我怀愧于地下。"
刘大夏焚毁《郑和海图》的事，《明史》等正史里没有记载，最早的说法来自明代学者顾起元所写的《客座赘语》，这是一部史料笔记，成书于1617年，距刘大夏生活的年代已经有100多年。顾起元说刘大夏焚图的事，援引的是明朝地理书籍《殊域周咨录》里的记载，但他引述得并不完全准确。《殊域周咨录》中的原文是"成化年间，有人迎合圣意，大讲永乐年间郑和下西洋的故事，皇上听了很感兴趣，就下诏索取郑和下西洋的有关文件、地图。兵部尚书项忠命人到档案库里寻找，可怎么也找不到，原来已经被车驾司郎中（兵部主管驿站、邮政、牧马等事务的官员）刘大夏藏起来了。"
