贵由即汗位不到两年，便突然死去，蒙古统治集团内部争夺汗位的斗争越演越烈。１２５１年，蒙古的王公们推举忽必烈的哥哥蒙哥为大汗。忽必烈领导关中漠南（蒙古高原大沙漠以南地区）汉地的军政事务。过了两年，忽必烈又接受了京兆（今陕西西安）的封地。他热心于学习汉文化，任用汉人儒士整顿吏治，恢复农业，建立学校，进一步取得北方汉族地主阶级对他的拥护，为元王朝的建立提供了坚实的社会基础。
１２５３年，忽必烈受命与另一大将兀良合台一起，南征云南，消灭了大理国。他将兀良合台留在云南镇守，自己班师回朝。不久以后，便在金莲川（今河北滦河上游）建立藩府，修筑宫室，继续任用汉族知识分子为谋士，整顿地方行政，藩府势力不断壮大。这引起了蒙哥的猜疑和不满。蒙哥派人到关中来查核税赋，其实真正的目的是对忽必烈的势力进行打击和限制。忽必烈当然知道哥哥来者不善。他听从手下谋士姚枢的主意，亲自把自己的家小送到和林作为人质，并对蒙哥说："如果我有二心，背叛朝廷，你就把我的家人都杀了吧！"
蒙哥听了此话，稍稍消除了疑虑。他停止了在关中的查核税赋工作，但是把忽必烈在那里设置的汉族模式的机构全部撤销了。
１２５８年，蒙哥派去西征波斯等地的旭烈兀送来了胜利的消息，蒙哥因而决定兵分三路伐宋，统一天下。他亲自领兵打四川，命宗王塔察儿打鄂州（今武昌），兀良合台打潭州。可南宋军队早有防备，蒙哥攻合州（今四川合州）钓鱼城攻了五个月也没攻下来，塔察儿也一直过不了长江，蒙哥只得命忽必烈去替换塔察儿。
