隋文帝登基之初，用人范围狭窄，过去的一些大集团依然存在，并保持相当的影响力。登基那一年，隋文帝要去岐州巡察，大臣王谊劝建说："陛下初临万国，人情未洽，何用此行？"杨坚笑了笑，用颇具政治内涵的话说："我过去和你们的位子平行，咱们都是给人家做臣下的，现在或许有些人耻于再做我的手下，这次出行我就是要树立权威声望，以此威慑类似你们这样的大臣。"《隋书》
此后，逐一加大汉族官吏的使用，将所谓的"关陇集团"的实际代表人物安排到名誉性职务。杨坚深刻认识到，北周的权力动摇和武将坐大，造成了一切系统的紊乱，只有重新建立一支绝对服从，绝对可靠的官吏队伍，才能巩固自我权威。
开国功臣张威自恃劳苦功高，在地方为官肆意妄为，杨坚得到举报后，并不偏袒，给予免职处分。后来杨坚路过洛阳，特意召见他，回忆往事，不无痛心地说："自朕之有天下，每委公以重镇，可谓推赤心矣。何乃不修名行，唯利是视？岂直孤负朕心，亦且累卿明德。"对于身边人犯法，隋文帝也绝不纵容，李圆通从小伺候他，为人聪明伶俐，特别会办事，但自从跟随秦孝王出镇地方后，开始变得膨胀胡为，隋文帝最后以"孝王以奢侈得罪，圆通亦坐免官。"作为处理。
