刘整知道他的想法以后，就想要跟皇帝上奏，让皇上为他做主，惩罚他。但是朝廷的人大部分都是南方人，而他的出身又不好，所以就得不到人们的注视，而且因为吕文德的关系，又不愿意得罪，所以根本就没人在皇帝面前说他的好话，吕文德看到他没办法以后，更加的猖狂了。他知道自己如果再这样下去，那迟早丢了性命，所以他就干脆投奔忽必烈。他先是联系了忽必烈的一个将军，表示自己愿意带着兵马投靠，忽必烈知道以后立刻表示愿意接纳，就这样投靠了忽必烈。
之后打的第一仗就是打的吕文德手下的一个将军，两个人经常合伙欺负他，他想要在忽必烈面前表现自己的实力，而且本来就跟敌方将领有仇，所以打起仗来非常拼命，很快就击败了敌军，凭借这场仗，他受到了重用。后来还经常出谋划策，为忽必烈立下了赫赫战功，但是忽必烈手下的将领们却并不认可他，他后来因为受到元朝将领们的排挤，最后抑郁而终。
