好景不长，楚材三岁时，父亲去世，家庭情况一下子变得窘迫了起来。好在楚材的母亲杨夫人是一位颇有主见的女性，她带着楚材离开了车水马龙的都城，回到了老家义州（今辽宁锦州）。
杨夫人不但颇有见地，而且出身于书香门第，知书达理，聪慧异常，她在医巫闾山上修了两间小屋，敦促儿子刻苦学习，教之礼仪。
母亲的悉心指导加之耶律楚材的过人天赋，短短几年时间，耶律楚材在学问上便大有长进，不但对传统的四书五经、诗词歌赋了若指掌，而且对于天文历法、地理历史、医学占卜、释老学说甚至是数学都有较为深入的学习。
这段在母亲身边学习的日子，为日后楚材的赫赫功绩打下了坚实的基础。
学而优则仕，这是中国古代社会的必然法则，也是耶律楚材这样的有志青年的不二法门。
