在当时，尉迟迥的地位在朝野中几乎无人能敌，除了杨坚。
大象二年（580），宣帝病重，杨坚令人伪造诏书，从而得以总揽朝野内外的军政大事，而镇守相州、德高望重的重臣尉迟迥成为了他夺取皇权的最大威胁。宣帝去世后，杨坚便以埋葬先帝为名召尉迟迥，并派人取代他的总管之位。
明白杨坚阴谋篡位的尉迟迥拒不受命，并号召自己的部下，宣布讨伐杨坚。尉迟迥凭借自己的名望，引得多地刺史起兵响应，他又向北联系突厥，向南联结陈国，集结起数十万兵马。面对尉迟迥的大军，杨坚派韦孝宽为元帅平乱。
韦孝宽与尉迟迥之子尉迟惇隔着沁水对峙，尉迟惇想等到韦孝宽渡河时进攻，便先行撤退，谁知却被趁机攻打，大败而退。年迈的尉迟迥亲自披挂上阵与韦孝宽对阵，取得胜利，不过高颎、李询却攻击围观的百姓，百姓的骚乱影响了尉迟迥的阵势。韦孝宽趁势领军冲杀，尉迟军再度失利。
尉迟迥领军退守北城，被重重围困，无奈自杀。尉迟惇等人逃亡被捕，起义的部众在一个多月后被尽数处死。史载："迥自起兵至败，六十八日。"
尉迟迥虽然才能出众、兵多将广。但自身已经年老，委派的尉迟惇指挥不利，寻求的援军又迟迟没有赶到，再加上战略失当、运气不佳，最终导致了义军的失败。
