不过，谢灵运的动静闹得越来越大。他做永嘉（浙江温州）太守没多久就称病辞职，开始大肆游玩，别人游玩顶多就约三五好友，而他赶上现在的旅游团了，带着几百人，专挑人迹罕至的大山深林游玩，山里没有路，他就要几百人砍树、开路，干得热火朝天。当然，还搞野炊、饮酒，举办大型野外篝火晚会，又唱又跳，而且魏晋名士还喜欢"啸"、搞裸奔，甚至还做一些不可描述的事情。这把当地的山民吓坏了，以为山贼、土匪聚啸山林，于是报官了。临海太守前去调查，才发现是谢灵运，于是对他的印象很不好。
会稽太守孟顗（音同以）也因和谢灵运有仇而借机上奏皇帝，说谢灵运有谋反的迹象。皇帝还是相信谢灵运，把他调离了会稽，让他去做临川内史，没想到谢灵运还是那么恃才放逸，不讨上级和同僚喜欢，某回他们终于找到了茬儿，司徒派临川王的从事郑望生去逮捕谢灵运。谢灵运不肯认怂，于是秘密安排人买弓箭刀枪盾牌等武器，并组织一队人马去救他，但最后没救成，反而有人被抓而招供，说是谢灵运的谋划的。于是，他们上奏说谢灵运聚众造反，面对实锤，皇帝再也不相信他了，下令将49岁的谢灵运押往广州正法。
谢灵运临死之前，对一位僧人朋友说，他愿意把自己的长须捐献给广州祇洹寺，用作寺中佛像的胡须，这位僧人朋友早就对美髯公谢灵运的长须羡慕不已，在谢灵运被杀后，他把他的长须挂戴在了维摩诘大佛像上，这一挂就是270年。
