但此人在人品上不够硬，也就是说，他不是那种公私分明的人，他在为官的过程中，并非是任人唯贤，他甚至是任人唯亲的，所以他的亲戚、朋友、老乡等多为他提携和重用，并且他为了自己的前程还不惜结交朝中的奸佞人物，比如他跟权臣后来成为卖国贼的贾似道就相交甚厚。刘整正是因为吕文德和贾似道二人，才最终走上了不归路。
刘整于宝祐二年（1254年）随李曾伯入蜀。李曾伯也是南宋朝廷器重的大臣，他那时刚被提拔为四川宣抚使。刘整颇受李曾伯器重，他被选拔为将，他一直坚持抵抗蒙古骑兵，并且多次取得对蒙古人战斗的胜利，可谓战功显著。景定元年（1261年）四月，刘整升任泸州知府兼潼川路安抚副使。至此，他在大宋的荣耀达到顶峰。
但是，身为北方人的刘整以战功获得升迁，使南方诸将皆出其下，就被人嫉恨了。最嫉恨并猜忌他的便是上文提到的名将吕文德，当时属于南方军事集团的吕文德可谓大权在握，谁都不敢对他不恭。但自持才高的刘整却对吕文德不买账，所以怎能不受他打压？刘整一出谋划策就被吕文德否定，一有功劳就被他隐瞒不发，并且他还让与刘整有矛盾的俞兴任四川制置使，用以打击刘整。
吕文德与俞兴勾结，打算诬告迫害刘整。刘整得知消息后，惊恐不安，派人到临安（今浙江杭州）向朝廷上诉。但一向器重他的朝廷重臣江万载等都已辞职，刘整投诉无门，所以他心中就有点凉了；当他看到名将向士璧、曹世雄均被奸相贾似道逼死后，心里就彻底凉了，他感到在腐败的大宋朝廷难有作为，而且很危险，"益危不自保"，所以就下决心另选明主了。
