当然这是比较片面的，最深层次的原因，被专家一语道破天机，北京大学史学专家李明说："汉人不齿的是匈奴人的婚姻制度，古代中国人虽然可以一夫多妻，但不会出现父子、兄弟共用一个老婆的情况。
然而匈奴人的婚姻制度，是继婚制，这种制度则是父亲死了，儿子是可以继续享用父亲的老婆的，另外兄弟之间也是可以继承妻子的，这种陋习，在古代汉族男人看来，完全是不可思议的，完全是野兽一般的存在，因此汉族男人都不愿娶匈奴女子为妻。
基于此古代汉人也将外族人称之为"蛮夷"也是有一定道理了，反之，匈奴人如果能够娶到汉人女子，则是一件让人十分自豪的事情，就像现在的中国，娶到一位欧洲女子，是十分自豪的，走路都是昂着头，眼睛冒着绿光。
