杨坚铲除了宇文家五位王爷，但是并不是高枕无忧，还有一个最大的威胁，他已经起兵了，这个人就是，相州总管的尉迟迥，尉迟迥是北周宇文家的外甥，他是宇文泰的外甥，娶西魏文帝元宝炬之女金明公主为妻，授驸马都尉，封西都侯。后跟随舅舅宇文泰收复弘农，攻克沙苑，都立下战功。大统十一年（545年），拜为侍中、骠骑大将军、开府仪同三司，进爵魏安郡公。大统十五年（549年），升任尚书左仆射，兼任领军将军。尉迟迥通达机敏，有才干，虽然兼任文武二职，仍颇得时人好评。宇文泰因此对他十分信任，加以重用。大统十六年（550年），拜任大将军。
公元580年宣帝去世，杨坚辅佐朝政，由于尉迟迥名望地位素来很高，更加是当时名将，杨坚还真的害怕他对自己有威胁，于是杨坚就命令尉迟迥之子魏安公尉迟惇带去诏书，以会葬名义征调尉迟迥。随即以郧公韦孝宽代替尉迟迥担任总管。尉迟迥则认为杨坚当政，图谋篡位，于是谋划起兵，留下尉迟惇而不受征调。杨坚又派侯正破六汗裒到尉迟迥处说明旨意，秘密给总管府长史晋昶等人带去信，命令他们作好准备。尉迟迥听说此事，杀掉晋昶及破六汗裒。
于是集合文武官员及百姓，登上城墙北楼而命令道："杨坚以平庸之才，借皇后父亲的权势，挟制幼主，号令天下，作威作福，赏罚不分，其背叛君主的行迹，已暴露无遗。我身为将相，与君主有舅甥之亲，同甘共苦，本应一体。先帝把我任命到这里，本来就寄托着安危大计。如今打算与各位集合义士，匡复国家，保护百姓，进可享受荣华名望，退可保全为臣节操。各位认为怎样？"于是众人全都听从命令，人人感奋。尉迟迥自称大总管，秉承旨意设置官府。当时赵王宇文招已经入朝，留下小儿子在这里，尉迟迥又拥戴他以号令天下。尉迟迥弟弟的儿子尉迟勤，当时任青州总管，也听从尉迟迥。尉迟迥所管辖的相、卫、黎、毛、洺、贝、赵、冀、瀛、沧各州，尉迟勤所管辖的青、胶、光、莒各州，全都跟随尉迟迥，拥有军队数十万。荥州刺史邵公宇文胄、申州刺史李惠、东楚州刺史费也利进、东潼州刺史曹孝达，各自据州响应尉迟迥。尉迟迥又向北交结高宝宁，联络突厥；向南联络陈国，答应割让长江、淮河一带的土地。这对杨坚的触动很大。
