万历三十五年(1607年)三月，舒尔哈齐因为作战不力，他的部将常书、纳齐布被努尔哈赤以临阵脱逃的罪名处死，舒尔哈齐的指挥权利被剥夺。舒尔哈齐的地位一落千丈，变成了一个有名无实的人物。
遭此变故的舒尔哈齐，痛感自己与努尔哈赤势难并存。于是舒尔哈齐带着长子阿尔通阿、三子扎萨克图及少数部下来到了明朝的军事重镇铁岭东南的黑扯木，在那里伐木建造房屋，开辟新的根据地。明朝也借机册封舒尔哈齐为建州右卫首领，这是明朝在辽东地区设立的最高地方军事长官。
舒尔哈齐的野心努尔哈赤看得非常明白，就劝他放弃自立为王的念头，可是，舒尔哈齐却不听哥哥劝告，仍然一意孤行。在劝说无效的情况下，努尔哈赤于万历三十七年(1609年)三月将舒尔哈齐的两个儿子阿尔通阿、扎萨克图及其部将武尔坤杀死。
面对努尔哈赤的雷霆行动，实力不济舒尔哈齐失去了继续抗争的勇气。于万历三十七年(1609年)五月，舒尔哈齐最终被努尔哈赤囚禁在一间暗室之中，用铁锁锁住，仅有两个孔穴给他送食物。万历三十九年(1611年)八月十九日，舒尔哈齐在囚禁中惧饿而死，时年四十八岁。也有人说他是被努尔哈赤秘密杀害的。不管死于何种方式，反正，舒尔哈赤最终死于哥哥努尔哈赤之手，这点是没错的。
