杨坚并无突出的功绩，地位却扶摇直上，逐渐引起一些朝臣和贵族的嫉恨。北周初年，大冢宰宇文护专权，多次想除掉杨坚，都因大将军侯伏、侯寿匡护而没有得逞。
周武帝亲政后，他说:"普六茹坚相貌非常，臣每次见到他，总感到浑身不自在。恐怕他不是久居人下者，请尽早把他除掉。"周武帝说:"他只能做大将罢了。"内史王轨也对周武帝说:"皇太子不是社稷之主，普六茹坚有反相"周武帝很不高兴，说:"天命所在，你让我如何？"
杨坚听说这些话，深为恐惧，于是十分注意收敛锋芒，韬光养晦。同时，他也积极利用自己已有的社会影响，广泛拉拢文臣武将，以扩大自己的势力。
杨坚在做随州刺史时已与骠骑将军庞晃结为莫逆之交，后来杨坚做定州总管，庞晃任常山太守，二人交往更密。杨坚将转亳州总管时，庞晃劝他就此起兵，建立帝王之业，杨坚握着庞晃的手说:"时机还不成熟啊。"
