尧君素是河南汤阴人，若干年后，这里也是南宋名将岳飞的出生地。从上述这段话可以看出，尧君素是隋炀帝的潜邸旧臣，早年就跟随杨广左右，等杨广登基后，尧君素屡有升迁。
尧君素在隋炀帝时期也是名臣，他治军严格，隋朝末年，随着朝廷式微，隋朝官军各部都有私自逃跑的士兵，包括杨广最精锐的骁果军，也经常有人叛逃。但唯有尧君素麾下的将士们没有一个逃跑者。史载"君素所部独全"。可见，在治军方面，尧君素的能力还是很突出的。
虽然尧君素也算一代名将，但很不幸，他遇到了另一个时代枭雄--李渊。
隋炀帝时期，唐国公李渊奉命担任晋阳留守，公元617年，在李世民的劝说下，李渊在晋阳（太原）起兵反隋。李渊为了能够顺利站稳脚跟，做了两个重大决定，第一时候派刘文静秘密出使东突厥，获得东亚霸主东突厥的支持；第二是把攻占长安作为目标。
