他这段风光日子在赵孝成王去世后便消失了，新王登基肯定会废除一些不好的制度和人物，万万没想到的是，他的军职会被解除。这也引起了廉颇的不满，导致廉颇率军攻打代替自己的乐乘。他这一举动让自己成为了叛军，即使胜利了，也只能投奔其他国家，他最后投奔了魏国。
但是在魏国，他并没有受重用，这也导致后来赵国会重新找他。他自己可能也没有想到，树敌有那么多，即使他不在赵国，也会被讲坏话。主要还是因为赵王想要重新用他引来的麻烦，郭开作为赵王的宠臣，肯定不希望有一个实力强劲的人回来，因此他便拜托使臣说廉颇的坏话。
当楚国人听闻他不被重用的消息，便邀请他进楚。他在楚国并没有什么建设，主要是因为他思念家乡。最终郁郁寡欢而死，享年84岁。所以最终造成他晚年悲惨的人是他自己，因为他没有放下赵国。其中还有一个原因就是郭开，如果不是因为他的话，廉颇应该会重新回到赵国。
