随着蒙古的多次攻掠和西夏的灭亡，人口也大部死亡离散。但要说蒙古人屠灭了党项人也不尽然。西夏人口的集聚，有同辽朝非常相似的地方。他们也是从游牧民族发展起来的，其所占地区，从总体情况来看，在当时的生产力条件下，除河套平原外，并不是很优越的地方。历史的经验证明，只有农业生产发达的地方，才能持久地维持着比较稠密的人口，而西夏领土除贺兰山以东的河套平原外，都不能有发达的农业生产，而河套地区的生产，又不可能维持几百万人口的生存，所以不得不以武力到内地掠夺财物，补充其生产的不足。所以一当维持这种武力的政权消失，其众多的人口也必然会随之消散。当然这并不是要否定蒙古灭西夏时造成的人口损失与文化破坏⑪。
蒙古军在西夏各地进行杀掠后，带走大量的人随军出征，如窝阔台时期，皇子阔端镇守西凉时就曾"大发民为兵"，太宗七年"签河西匠人为军"，忽必烈时，元朝政府在西夏地区签军七次，一次人数可多至三千。在诸色目人种中，西夏距离中原最近，征调方便，因此蒙古人对由西夏人组成的军队较为重视。西夏炮及炮手也被大量投入到对金宋的战争中。很多西夏将领在统一战争中建立了一系列的辉煌战功⑫。蒙元时期有相当数量的西夏遗民进入帝国军政系统，他们在蒙元为官的情况，据史家统计有331人，在中书省先后担任要职者12人，枢密院为官者8人，御史台任职者14人，宣政院供职者4人。
蒙古人征服西夏后，一方面是将西夏故地的西夏人迁徙各地，另一方面，则将大量的中亚色目人、蒙古人、汉人迁入西夏故地。迁出的遗民逐渐融入中原汉族之中，留居故地者也逐渐同迁入民族融合。比如世居河南濮阳的唐兀崇喜家族，因为居住在汉族文化区域，数代之后均以"杨"为姓，完全汉化了。汉文化对于西夏民族的影响从唐宋时即开始，西夏灭亡后形成西夏遗民和汉族人杂处的局面，更促进了汉文化对西夏遗民的影响。可以说西夏遗民民族属性的变化，更多的是文化心理的改变，血缘种族的改变反而不重要。
