公元1122年，金军大举进攻辽国，攻下中京、泽州。辽天祚帝诏令宰相张琳、李处温与秦晋王耶律淳守卫南京，同时从南京撤退，途中受到金军的偷袭，仓皇逃奔到夹山。由于夹山与外界失去联系，李处温便与南京都统萧干、辽兴军节度使耶律大石等商议立耶律淳为帝，史称北辽。耶律大石成为了耶律淳的股肱之臣，官至太师。北宋已经与金国缔结了海上之盟，南北夹击辽国。耶律大石分析当时形势，决定向金国称臣，同北宋结好。但是，北宋君臣认为这是夺回燕云十六州的好机会，出兵二十万攻打南京。耶律大石率军迎战，在白沟河击败宋军。同年，耶律淳病死，其妻萧德妃临朝称制。宋军再次前来攻击，突袭了南京城，在巷战中辽军再次取胜，使得军心大振。
公元1123年春，金军攻破居庸关，北辽王朝危在旦夕，耶律大石决定挟持萧德妃投奔天祚帝。天祚帝因耶律淳被立之事杀萧德妃及外甥耶律常哥，并指责耶律大石说："我还没死，你怎么敢立耶律淳？"耶律大石回答说："陛下拥有全国的力量，不能去阻挡一下敌人，抛弃了国家社稷远远逃遁，致使百姓生活在水深火热之中。就算立十个耶律淳，都是太祖的子孙，总比乞求别人饶命强得多吧？"天祚帝无言以对，赐给酒食，赦免其罪，并任命耶律大石为都统。
同年，耶律大石率领辽军进攻奉圣州，在龙门山以东二十五里处驻军。金朝都统完颜斡鲁派完颜照立、完颜娄室、马和尚等率军攻打，耶律大石战败被完颜娄室俘虏，所率辽军投降。完颜宗望用绳子绑着耶律大石，强迫他作为向导，率军袭击了天祚帝位于青冢泺(今内蒙古自治区呼和浩特市南部)的大营，俘获了天祚帝的儿子秦王耶律定、许王耶律宁和嫔妃、公主、随行大臣等多人，并获取辎重车辆万余辆。由于耶律大石长得帅而且口才好，得到了金太祖完颜阿骨打的器重，赐给耶律大石妻子，但耶律大石暗中谋划逃跑。九月，耶律大石随金朝西征，带领家眷从金营中逃出，投奔天祚帝。耶律大石再次率辽军袭击金军，又战败被俘。
公元1124年秋，耶律大石又逃回来，并带回来一支军队。天祚帝得到耶律大石的军队后，又得到阴山室韦毛割石的部队支援，自认为上天助他中兴辽国，所以再次谋划出兵收复燕云各州。耶律大石却力劝天祚帝说："自从金军攻陷长春、辽阳两路以来，陛下没去广平甸，而去了中京；等到了上京沦陷，陛下又跑到了燕山；等到了中京沦陷，陛下又跑到了云中；等到了云中沦陷，陛下又跑到了夹山。当初，陛下拥有辽国大军的时候没有作好准备，导致了全国的汉地都被金国抢去。目前国势衰微而急于与金军交战，不是上策。应当养兵待时而动，不可轻举妄动。"但是天祚帝不能采纳，坚持出兵。
耶律大石知道天祚帝不可能成就恢复大业，便杀掉悻臣萧乙薛和坡里括，自立为王，设置北南面官属，率领铁骑二百，夜间离开天祚帝大营。耶律大石走后，天祚帝出兵，先取得了一些小胜利，但很快被金军大败。
