从当时宋金夏及西辽的地图来看，西辽与南宋相隔西夏、吐蕃、金三个政权，路途很遥远，如果西辽同意南宋的联合后，就必然要"劳师远征"，很难实现战略上联合和企图。除了路途遥远外，我们从史料记载看，还有几个因素不能忽略。
第一，宋朝皇帝安逸想法。
宋朝赵构虽然与金朝对峙多年，但从他的内心看，他并不真的想打败金朝，也没实力灭金。如果灭金后，那徽钦二帝就会被迎回，从封建王朝的正统上来看，将会出现三个皇帝谁是正统的问题。虽然宋徽宗、宋钦宗都无意当皇帝，但赵构不想把两个太上皇迎来。那时从岳飞积极抗金，打着收复失地，迎回二帝的誓言看，岳飞就让赵构很不爽。岳飞的死除了秦桧陷害外，恐怕与赵构内心想法有直接关系。
赵构宁可与金朝划江而治，形成一个南北对峙局面，他在南面可以安逸的当他的皇帝。1141年，耶律大石的大军直抵里海时，此时宋金居然签订了和平协议《绍兴议和》，这是赵构屈从金朝的一份投降协议。从这份协议签订看，赵构根本没有斗志，何谈联合正是强劲势头中的耶律大石呢？
