原本臣属于柔然的敕勒诸部乘机摆脱柔然的控制，归附北魏，并转身劫掠柔然。在这种不利局面下，柔然内部也有诸多部落失去信心，数万落归降了北魏，被北魏安置在漠南，失去了这么多人的柔然不可避免地走向衰落。
牟汗纥升盖可汗接受不了这种巨大反差，忧愤而死，其子吴提继位，号敕连可汗。敕连可汗是识时务的，他知道情况不同了，乖乖地派人给北魏送马，请求通好。
此时北魏已经统一北方，为取得北边安宁，安心发展，也采取和亲政策，跟柔然讲和。
但敕连可汗是经历过柔然全盛时期的人，他仍然想要将汗国带回那个纵横草原的时期，而这必然会跟北魏产生冲突，所以和亲并未能维持多久，柔然和北魏就因争夺西域再度交恶。
开始柔然还只是小打小闹，北魏也不怎么搭理，但460年吞并高昌开始，柔然的架势越来越大。十年后柔然进攻于阗，于阗向北魏求救，北魏以路远未出兵救援。
北魏的坐视不理更增长了柔然的嚣张气焰，两年后，柔然又进攻敦煌，想要切断北魏通向西域的商路。
这可不得了，这是动了北魏的核心利益，为了教训柔然，北魏连续九次出兵漠北，袭击柔然，并都取得了大胜，有一次更是斩首五万级，降者万余人。
在北魏的打击下，柔然不仅没能复兴，反而更加衰弱，予成可汗不得不再次低头，屡次遣使请求通婚讲和，北魏孝文帝即位后，正式跟柔然讲和，双方每年都互遣使节。
然而，即便在和平的条件下，柔然也没能迎来复兴，反而还要不断应对内部奴役部落的接连反抗，这种内耗，大大削弱了柔然的力量。反抗部落中最强的是敕勒副伏罗部，在阿伏至罗的率领下，敕勒十余万落脱离柔然统治，西迁至西域，建立高车国，自立为王。
柔然与高车国展开了三十余年的征战，最后柔然败了，失去了对西域的控制，同时柔然也在征战中更加衰弱，不久更是发生了内乱。
520年，豆罗伏跋豆伐可汗丑奴被其母联合大臣所杀，其弟阿那瓌继位，但半个月不到，阿那瓌就被族兄示发击败，无奈之下，阿那瓌投奔北魏，受到隆重迎接。
