尔朱荣并非中原人士，而是出身契胡民族，居于北秀川，也就是今山西境内。从先祖尔朱羽健到尔朱荣，一共经历五代人，家族积累对尔朱荣的助力功不可没。
北魏初年，大局未定，尔朱羽健率领其部落臣民跟随拓跋珪四处征战，立下汗马功劳。为表彰尔朱羽健，拓跋珪赏赐北秀川一带作为封地，尔朱家族开始发迹。太武帝拓跋焘曾想把条件优越的南秀容赐给尔朱羽健，但被拒绝。
北秀川位于柔然与北魏的接壤地带，游牧与农耕文明相交织，民族构成极为复杂。尔朱家族作为部落首领，保持着游牧与原始的部落习俗，同时也蕴藏着较为强大的军事实力。
尔朱羽健逝世后，尔朱郁德（尔朱荣曾祖）继任酋长，并且和北魏勋贵贺氏家族联姻。到了尔朱荣祖父尔朱代勤这一代，家族联姻的范围更是不断扩大，其侄女婚配皇帝，史称敬哀皇后。
尔朱荣的父亲尔朱新兴被朝廷封号梁郡公，叔父娶清河长公主，弟弟世隆娶北魏大族女奚氏，尔朱荣自己也娶了宗室元英之女。尔朱家族在北秀川放牧养马，积累了大量的家族财富，于此同时，尔朱家族通过贿赂和联姻，结交勋贵，政治实力膨胀。
