耶律楚材，北方契丹族人，辽皇族的子孙，出生地在燕京（今北京）西山。复姓耶律，名楚材。金章宗明昌元年（1190年）六月二十日，一个新的生命在尚书右丞耶律履的宰相府中诞生了。他是辽朝开国皇帝耶律阿保机的九世孙，耶律履这年60岁，老来得子，自然非常高兴。在这以前，耶律履虽然已经有了两个孩子，这时都已长大成人，可是其才平平。因而对这个晚年所得的幼子，他寄予很大的期望，常常对家人说：“这孩子是我们家的千里驹，将来必定能够成就一番伟大的事业。”耶律楚材出生时，辽国已经被金所灭几十年了，此时金国的统治政权也已经摇摇欲坠。耶律楚材的父亲是一个有预见的人，他就借用《左传》中“楚虽有才，晋时用之”的典故，为儿子取了一个寓意深远的名字——楚材，字晋卿。这个名字，寄托了父亲的美好愿望。即使金国灭亡了，也希望儿子能通过其他途径成就一番事业。果然，耶律楚材这个金国的人才最后成了蒙古国的著名丞相。
耶律楚材三岁时，父亲便去世了。其父为官清廉，又乐善好施，没有攒下殷实的家产。母亲杨氏是当时名士杨昙之女，出身于书香门第，自幼读书，很有文才，有较高的文化修养。她遵从丈夫希望楚材学有所成、光宗耀祖的遗愿，带着他从上都（今北京）回到老家东丹（今辽宁北镇一带）。在医巫闾山的桃花洞南部的悬崖上修了两间小屋，教儿子刻苦读书。母亲把全部心血和希望放在孩子身上，母亲曾经做诗言志：“挑灯教子哦新句，冷淡生涯乐有余。”在那里，母亲耐心细致地教，而耶律楚材非常刻苦用功地学，母子俩虽穷苦但也其乐融融。正是在母亲的精心抚养和教育下，短短几年，他学到了很多知识和做人的道理。他秉承家族传统，学习汉文典籍，精通汉文，博览群书，旁通天文、地理、律历、医卜及释道之学，还写得一手好诗。金章宗泰和六年（1206年），耶律楚材17岁，根据他学习的情况已经可以出仕了。按照大金国的制度规定，宰相之子可以赐补省掾（在朝廷各部门管理文书、处理日常事务的官吏），耶律楚材的两个兄长都是这么做官的。可是耶律楚材却不要这个特权，希望参加正规的进士科考试。金章宗认为旧的制度不应轻易更改，特别下了一道敕令要当面对他考试，亲自过问了几件疑难案件的处理过程，同时参加考试的十七个人中，耶律楚材答得最好，便被正式任命为某个政府部门的掾官，协助长官掌管文书，处理日常行政事务。后来又被正式任命为开州（今四川开县）知事（一县之行政长官，同“知县”）。25岁那年，耶律楚材就任金国丞相完颜晖手下的左右司员外郎。