1120年，最后商定，宋、金夹攻辽国，长城以北的中京，由金军负责攻取；长城以南的燕京，由宋军负责攻取。夹攻辽朝胜利后，燕云地区归宋，宋将原来输辽的岁币如数转送给金国。这就是历史上宋、金"海上之盟"。1120年4月，金兵向辽上京进发，金太祖亲自督战。早晨发动进攻，不到中午，即攻下上京城，辽上京留守投降。天祚帝逃奇谈怪往西京，金兵胜利班师，辽朝疆土已被金兵占领过半。1121年辽都统耶律余睹来降，金太祖从而进一步得知辽国内部空虚军都统，以完颜昱、宗翰、宗干、宗望为副，决定再度发兵。金太祖以完颜呆为内外诸"辽政不纲，人神共弃，今欲中外一统，故命汝率大军以行讨伐。"明确把夺，统领大兵进攻。金太祖下诏说:取辽朝领土，作为这次作战的目的。
1122年，金完颜果攻下辽中京（大定府），进据泽州，辽天祚帝逃往鸳鸯泊（今河北张北县西北）。完颜呆和宗望分道向鸳鸯泊进击。天帝又逃往西京。金兵攻占西京（今山西大同），进而招降天德、云内、宁边、东胜等州。天祚帝逃入夹山（今内蒙萨拉齐西北）。6月间，金太祖亲自领兵自上京出发，追击天祚帝，直到大鱼泊。完颜昱和宗望部追及天祚帝，大败辽军，天祚帝又逃走。归化、奉圣二州相继投降。金太祖统率大军到奉圣州，蔚州辽臣也来归附。12月，金太祖率军向辽的燕京（今北京）进发，宋军自燕京南路配合攻辽。左企弓、虞仲文开城降金，金太祖入燕京城，接受官员们朝贺，金兵获得大胜。
1123年，金兵将燕京的工匠和财宝等掳掠一空，然后按约将燕京六州之地交给宋朝，宗望、斡鲁等继续追击天祚帝。金太祖领兵回师。同年8月，金太祖在返回上京的路上病死。金朝的国家是在对辽战争的过程中建立的它还不可能立即形成完整的国家制度。但在阿骨打在位的几年间，作为阶级压迫机关的军事政治制度，已经初步建立起来。金国建立后，废除原来的部落联盟长的制度，阿骨打自称皇帝，确立了皇权的统治。阿骨打没有像阿保机建立辽国那样，模仿汉制立太子，皇权的继承仍然暂时保留着推选的痕迹，但实际上已完全掌握在阿骨打家族手中。在金国中央，废除部落联盟时的"国相"制，设立勃烈极四人，组成皇帝以下的最高统治机构。
