薛举详细生年不详，但可以考证到的是，薛举应该是出生于北周时期。薛举出身著名的河东薛氏，薛姓是当时关西六大姓之一。薛家虽然不如几个最顶层的关陇世家那么显赫，也不如当时的山东士族那样香火旺盛，但总的来说，也算是个大族了。后来李世民麾下的薛万彻兄弟，以及再后来的唐朝名将薛仁贵，都是出自这一姓。
当然，薛举本身，和薛仁贵这位唐朝名将，肯定没什么太近的血缘关系，两者也就是很多代以前的老祖宗相同而已。
薛举少年的时候，随其父薛汪搬到了今天的甘肃兰州居住。《旧唐书》中用了二十四个字来描述早年的薛举：容貌瑰伟，凶悍善射，骁武绝伦，家产巨万，交结豪猾，雄于边朔。
从《旧唐书》里的这二十四个字可以看出，年轻时的薛举，是一个典型的枭雄式人物。这种人，盛世的时候未必会名垂青史，但乱世时往往能够闯出一番事业。后来薛举的经历，也间接证明了这个道理。在隋朝稳固的时候，薛举参军入伍，最高只做到了金城府校尉这么一个小官，并不算是太重要的人物。但是等到隋朝末年的时候，薛举却乘势而起，成了一代枭雄。
