耶律大石，是辽太祖耶律阿保机的八世孙，但是不能明确其实际出身。因为太祖次子辽太宗耶律德光最终绝嗣，太祖幼子耶律牙里果没有记载有后裔存世，所以耶律大石只能是太祖长子人皇王（义宗）耶律倍或者太祖第三子章肃皇帝耶律李胡的后代。而人皇王耶律倍的后裔从辽景宗耶律贤开始就一直是辽国帝系，子孙享尽荣华富贵，但耶律大石根据史书记载却是"出身寒微、家世贫困、因而好学不缀，终有大成"。按道理说，如果耶律大石是人皇王耶律倍的直系后裔，怎么也不会有这么微末低下的家世和出身。
而章肃皇帝耶律李胡是在和侄子辽世宗耶律阮（人皇王耶律倍之子）争夺皇位失败后被软禁，又因为儿子耶律喜隐谋反之事被牵连，被另一个侄子辽穆宗耶律璟（辽太宗耶律德光之子）于应历十年（960年）将其下狱，最终死在狱中，家族遭受打击被实际上降为平民，就连"章肃皇帝"的谥号，都是百年后由其侄玄孙辽兴宗耶律宗真追授的，所以出身寒微的耶律大石极有可能是耶律李胡的后裔。同时，后世史书介绍耶律大石时，都用"辽太祖八世孙"作为注脚，如果耶律大石是人皇王（义宗）的后裔，那么一定会用"义宗七世孙"的名头来介绍他（太祖次子太宗和幼子耶律牙里果绝嗣，不考虑），但实际中却没有这样的介绍，这更加证明了耶律大石只能是太祖第三子章肃皇帝耶律李胡的后代。
辽大安三年（1087年），辽国上京临潢府（今内蒙古巴林左旗东南），一户普通甚至有些落魄的耶律氏皇族子弟家里诞生了一个婴儿，父母给这个小孩子起名为"大石"，期盼他长大后能够具有像磐石一般坚硬果毅的性格。耶律大石也如同长辈们期盼的一样，从小聪颖好学，熟读汉家经典，弓马骑射也熟稔无比，更兼通契丹大字、朝廷法律，及汉家礼仪制度，可以说是辽国不可多得的文武全才。因此，在辽天庆五年（1115年）的科举考试中，二十八岁的耶律大石毫无悬念地得中进士，进入朝廷的南衙翰林院任翰林承旨，成为少有的契丹皇族文臣。
根据《辽史》记载，辽国前后数十次科举选士中，大多是南京道（幽州析津府、即今北京）的汉族文士中式，或者是原渤海国的汉化程度很深的靺鞨族得中进士，而契丹族进士有记载可查的，只有耶律大石一人而已。辽国称呼翰林为"林牙"，所以耶律大石也被契丹人尊称为"大石林牙"。这可以看出耶律大石在耶律氏皇族甚至契丹人中是多么的出类拔萃、才华横溢。
