石虎为了充实邺城的人口，强迫各个民族迁徙到邺城附近。他还经常进行了屠杀活动。早在石勒时期，石勒派遣石虎攻打青州广固，广固城投降，但是石虎坑杀广固的军民三万人。石虎还想将城中的平民杀光，青州刺史刘徴反对。结果石虎也只是留下700人不杀，其他均被屠杀。
石虎加强了赋税，有资料认为他推行的赋税超过任何一代。为了增加军队，他取消了世家大族免役的优惠，下令"五丁取三，四丁取二"。石虎又大兴土木，在邺城、洛阳、长安等地修建宫殿，《晋书》载："盛兴宫室于邺，起台观四十余所，营长安、洛阳二宮，作者四十余万人。"其造成的结果就是"百姓失业，十室而七"。为了满足自己的奢侈享乐，他大发百姓家女年十三以上、二十以下的三万余人充后宫，有"夺人妻女，十万盈宮"之说。在这样的折腾下，北方经济遭遇了大破坏，"海、岱、河、济间，人无宁志矣"。
石虎的残暴统治引发了侯子光、李弘等农民起义，这些起义均被镇压，但是反映了石虎的统治摇摇欲坠。同时，统治者内部又产生了内乱，石虎的儿子石邃、石宣又试图杀石虎夺位，都被石虎杀害。这次事件又引发了梁犊起义，起义军一度攻打到洛阳。349年，石虎去世，于是诸子争立，大臣相杀。大将李农于是逃到了广宗（河北威县），成为了乞活军的首领。这时候，石勒的养孙石闵（冉闵）就在李农的支持下回到邺城继位。
冉闵继位后，于是打开邺城城门，宣布："与官同心者住，不同心者各任所之。"结果羯族纷纷出城，汉人纷纷入城，冉闵认为应该利用汉人的支持来巩固政权，于是下令杀羯人，不管贵贱男女老幼，一律斩杀，共杀二十余万人。当然这个过程中，还有许多汉族也被屠杀了，其中李农也被杀害。羯族经过这次大屠杀之后，其主要势力就消灭了。剩下的羯族，部分归属于前燕和前秦，最终被鲜卑族北魏征服，最终在北魏推行全面汉化后融入了汉族之中；还有部分迁回了西域，但是迁回西域的因为相互残杀，其中只有十之二三能够回去。
历史上记载的最后一支羯族是侯景一支。北魏末年，发生了六镇起义，于是分裂为宇文氏和高氏两大势力，侯景先投靠了高欢，后来又投靠了宇文泰。但是宇文泰知道侯景反复无常，于是心存戒备。果然，不久侯景又南下投靠南梁。后来，侯景在南方发动了叛乱，大肆掠杀，导致赤地千里、尸骨遍地，史称侯景之乱。后来侯景之乱被陈霸先平定，而侯景的后代也被高氏全部杀死。从此，羯族不见于历史的记载。
