建安四年（199年），旱灾进一步恶化，连抄掠也没办法维持生计了，袁术终于树倒猢狲散，部下纷纷离去。有部将雷薄、陈兰不去选择投奔别人，而是落草为寇，当山大王。而袁术更是奇葩，他想去投奔这哥儿俩，但被决绝。袁术没办法，只得低下高傲的头，去和他一直看不起的袁绍汇合，想去投奔青州的侄子袁谭，被刘备阻拦，返回淮南的途中，吐血而死。
后来刘备在平定荆南四郡的时候曾经有雷绪带着数万人前来投奔，《三国志》说雷绪是袁术部将，后与陈兰落草。但《后汉书》里提到袁术残余势力时，和陈兰落草的是雷薄，考虑到期间时间的流逝和不见陈兰的记录，我推测这个雷绪可能是雷薄的儿子，雷薄、陈兰皆死后，雷绪带领袁术的最后遗产投奔刘备，让刘备实力一下子大涨，给了他脱离孙权独自伐蜀的信心与勇气。
从建安二年（197年）春袁术僭号"仲氏"，到建安四年（199年）六月袁术病死，不过短短的2年时间，袁术从不可一世的汉末第一大势力瞬间跌落谷底，似乎是一眨眼的功夫，曾经那么强大的袁术系就灰飞烟灭了，其衰亡的速度，只有后世的李自成可以与之相比了。
袁术死后，他的家眷投奔庐江太守刘勋，但庐江郡不久被孙策攻破，其家人就都变成了孙策的俘虏，下落不明。沛国和九江郡被曹操所占。而袁术的政治遗产，包括官吏、工匠和军乐队，基本上都被孙策占领。
袁术这个人，虽然是袁家正经嫡子，但行事作风却喜欢模仿山贼流寇。讨董结束后，袁家兄弟分布中原南北，不少士人纷纷去投，可袁绍那边得意起来，袁术则没什么知名名士投奔的记录，一方面是因为他最后败了，许多人就因此而湮灭，另一方面也是因为他的山贼气息太浓，为当时的主流社会所不喜欢。袁术在扬州势力最大的时期，全中原几乎所有的贼寇都唯袁术马首是瞻，按宋朝的说法叫"哥哥"，按现在的说法叫"爸爸"，江山如此多娇，引无数贼寇竞折腰。这些上不得汉朝台面的东西，可能就是压倒孙家叛变的骆驼的最后一根稻草。
袁术的最终身死，为孙策做了嫁衣，成为三国之一吴国的发展的基础，其实这一切，都是当年那个"仲氏"的势力范围。
