官职的升高，也引来了他同僚们的猜忌，于是就有人开始在皇帝面前打他的小报告了。元顺帝也是沙里的萝卜，经不住带，直接就把孛罗帖木儿手里的兵权给剥夺了，让他去屯田。
本来朱元璋和陈友谅在对决的时候，孛罗帖木儿想向元顺帝请求南征，因为他觉得这是一个机会。
可惜那时的元顺帝仿佛已近"认命了"，觉得没有机会能翻盘了，所以就把孛罗帖木的意见抛之脑后了，渐渐的沉迷于酒池肉林，开始不理朝政。而这时太子觉得机会来了，就想成为一国之君，和元顺帝的矛盾也开始了加剧。
而孛罗帖木儿与太子的关系不算太好，所以为了以防万一，决定先干掉孛罗帖木儿，可惜最终的结果却是太子自己惨败于孛罗帖木儿手下。这件事发生后，元顺帝像发现了财宝一样，对孛罗帖木儿是越加看重，还让他当了右丞相。
