天和三年（568年），父亲杨忠死后，杨坚承袭随国公的爵位。周武帝聘杨坚的长女杨丽华为皇太子妃，对杨坚更加礼重。
建德四年（575年），杨坚率水军三万，于河桥大败北齐的军队。建德五年（576年），杨坚跟从周武帝亲征平齐，进位为柱国。与齐王宇文宪一起在冀州大破齐任城王高湝，被封为定州总管（今河北省定州市），很快又转任亳州总管（今安徽省亳州市）
宣政元年（578年）六月，周武帝宇文邕死后，太子宇文赟即位。杨坚的长女杨丽华被封为皇后，杨坚因为是皇后之父又晋升为柱国大将军、大司马。大象初年，杨坚官任大后丞、右司武，很快转任大前疑。
大象二年（580年）五月，以杨坚为扬州总管，以筹备伐陈事宜。将要出发的时候，突发足疾，没有立即出发。同年五月，周宣帝病危。御正下大夫刘昉、内史上大夫郑译伪造诏书，让随国公杨坚接受遗命，辅佐朝政。
