他有个老乡叫"李打铁"，也是武功高手，通过参军官升甘肃提督后，积攒了不少钱财，于是和其他湘军将领一样，在老家大兴土木，置田买地，开设钱庄。当时当地遭受了水灾，民众生活艰难。而李氏钱庄乘机放高利贷，盘剥贫苦百姓。阳兴贵看不下去，不畏李家势大，设计洗劫了李氏钱庄，将钱财分发在贫苦百姓的家门口。
相传他还出手制服"路霸"罗翼如，降伏"黑老大"李长寿，劝降"剥皮老爷"徐宝山，在民间留下了极好的名声。
阳兴贵结交了很多湘军大佬，除了曾国荃，还有刘坤一，刘一坤曾为他的事迹所感动，撰写一联："及时强健犹为乐，回首风尘甘息机"赠给了他。
他晚年一直在长沙开药堂，于1925年去世，活了90岁，他的一生历经清道光、咸丰、同治、光绪、宣统五朝，后又在民国生活了14年，不可谓不长。他不愧是晚清的"长江大侠"，向人们展现了他的一段传奇人生。
然而，阳大毛留给后人的不只是他的传奇故事，还有治骨良方。这个方子被百姓称为"大毛救济粉"，通过外敷使用，专治骨伤，效果十分显著。他的后人继承了他的遗志，以行医为业。为了能让更多的人受益，还将这个祖传的治骨良方捐给县中医院，真正地造福了一方百姓。
