尔朱荣，字天宝，是北秀容人，世代担任酋长。他的祖先居住在尔朱川，因此得名。高祖羽健在登国初期担任领民酋长，率领契胡武士一千七百人跟随平定晋阳和中山，因功被封为散骑常侍。羽健去世后，曾祖郁德和祖父代勤继续担任领民酋长。代勤是世祖敬哀皇后的舅舅，因功被封为立义将军，去世后被追赠太师、司徒公、录尚书事。

尔朱荣的父亲新兴在太和中继承了酋长职位，家世显赫，财富丰富。新兴曾梦见白蛇，头上有两只角，游于马前，认为这是吉祥的征兆。他后来将这个梦告诉了儿子荣，荣听后也感到非常高兴。新兴去世后，荣继承了他的爵位和职位。

荣自幼聪明伶俐，长大后喜欢射猎，每次设围时都会誓众，制定军阵之法，号令严肃，无人敢犯。正光年间，四方兵起，荣散畜牧，招合义勇，前后讨平之。肃宗崩后，荣与元天穆等人入宫匡扶朝廷，被封为太原王。荣在河阴事件中扮演了重要角色，后来在讨伐葛荣的战斗中表现出色，进位天柱大将军。荣性格喜好狩猎，即使在严寒酷暑也不放弃。他常年在外，但能遥制朝廷，广布亲戚，列为左右，伺察动静。庄帝因荣的河阴之事而恐惧，城阳王徽等人也欲擅威权，恐荣害之，相互构陷。荣入朝时，帝有图谋害荣之意，但因天穆在并州可能成为后患，故未付诸行动。