但常茂走到哪里都惹事。广西龙州的土司名叫赵贴坚，没有儿子，只有两个女儿，其中一个嫁给了常茂做小妾。赵贴坚死后，按理应该由侄子赵宗寿继承土司。但赵贴坚的妻子黄氏不肯交出土司的印信，与赵宗寿争权。常茂做为她的女婿，也卷入到这场权力争夺战当中。
后来赵宗寿终于把印信抢到手里。《太祖实录》中说常茂于洪武二十四年"卒于谪所"，但有传言说他其实没有死。朱元璋派兵部尚书前往龙州调查真相，赵宗寿却不配合。
洪武二十八年八月，朱元璋派杨文为征南将军，韩观、宋晟为副将军，率领京卫精壮马步官军三万人，会同广西本地的军马，征讨龙州等地。
朱元璋嘱咐杨文，到了龙州之后，如果赵宗寿亲自来见，并且能够说明常茂果真死去，可以宽恕赵宗寿。如果派别人前来，继续欺诈，就不要客气，立刻进兵征讨。
