天祚帝听了这话也就不再将阿骨打放在心上。可是阿骨打却在乎了。他担心天祚帝窥破了他的用心，迟早会派兵收拾他，决定加快步伐行动，急忙举兵统一了女真各部，将女真的大权紧紧掌握在手中。同时，又让他的百姓们多种粮食，多积攒财富，做好了和辽作战的准备。从此以后，天祚帝每次召见，他都称病不去。公元1113年，万事齐备，阿骨打揭起反天祚帝的大旗，率五百轻骑突入契丹境内，袭击了咸州（今辽宁铁岭北），契丹人大惊，但契丹王朝除了责怪外，竟无讨伐之意。阿骨打看出契丹名为大国，其实空虚，主骄士怯，取而代之也非难事。于是决定公开起兵反辽。公元1114年七月，阿骨打以契丹私藏女真叛逆为由，命令其部属加强备战，准备攻击契丹。天祚帝得报，派阿息保前来责问阿骨打。阿骨打杀气腾腾地对阿息保说：“我们女真是个小国，岂敢怠慢辽国。但你们辽国也太不像话，私藏我部落叛逆之士，居心不良。如果归还我方叛逆者，那么关系如同以往。否则，我们也不是好惹的！”
阿息保扫兴而返。天祚帝闻报，知道这势头不对，是有一名女真贵族与其首领不和逃到辽国，辽国也确实将其保护起来。但这已是几年前的事了。当时女真人对此不高兴过，但后来也就不了了之。而阿骨到现在又以此事和契丹过不去，动刀动枪的，事情不是明摆着吗？于是决定派大将萧挞不也调兵，开赴宁江州（今吉林抚余）防守，但他太轻视阿骨打的能力，只派八百人驻防。阿骨打知道此事，决定先发制人。此时，女真部民都不服徭役，年轻力壮者平时习武狩猎，都能当兵打仗。无事时种地打猎，有警报则自备兵器口粮出战，召之即来，来之能战，战之能胜。9月，阿骨打集合两千五百壮士，攻打宁江州，辽军出来阻拦，却被女真兵冲散，践踏而死者就有十七、八人，辽军退回宁江城，阿骨打立即派人填平护城河，毁墙攻城。辽军大败，宁江城落入女真之手。辽主决定以牙还牙，派七千精兵深入女真境内，阿骨打立即回来抵抗，渡过鸭子河，与辽军背水一战，辽军又败了。从此，辽军一见女真兵便无斗志，不战而逃。
