崇祯皇帝自缢以后，明朝灭亡了，扶纲就回到了他的故乡都匀。后来，南明的永历帝朱由榔即位，扶纲就追随于永历帝，在粤、桂、滇、黔各省奔波，组织抗清斗争。
当永历帝被清军逼往缅甸避祸以后，扶纲没有跟随，他回了都匀。后来，吴三桂发兵攻打缅甸，缅甸献出永历帝自保，永历帝随后被押往昆明，并在昆明被吴三桂杀害。
扶纲得知永历帝遇害的消息之后，带着部属找到永历帝的尸骨，将永历帝带回他的故乡都匀安葬。为了不被人发现，他按照扶家葬制在高塘山上修了一座陵墓，里面就葬着永历帝。
扶纲叮嘱儿子扶瑶，不得泄露这是桂王坟，等时局稳定以后，才能"竖碑以祀"。就这样，扶家世代守护着这座帝陵，直到民国时期才被人们发现。
