李泌出自关陇贵族，是西魏八柱国之一李弼的六世孙。有些朋友也许不明白这个家世的来头，列几个名人你就懂了：唐高祖李渊的祖父李虎，也是八柱国之一，是李弼的同僚；隋朝末年威震中原、一度最具帝王相的瓦岗领导人李密，正是李弼的曾孙；隋朝皇帝杨坚家族所在的十二大将军，严格来说是八柱国的手下。
这是个曾经垄断中原政治上百年的贵族集团。经过初唐科举制的推行，到了李隆基时期，关陇贵族的特殊地位虽早已瓦解，但李泌家族世代官宦、辈辈封公，其政治资源、教育优势仍非寻常人所能比拟。幼年时的他即粗通儒、道、佛知识，7岁便能下笔写文，被公认为当时的一代神童。
宰相张说见到李泌，惊喜地恭贺唐玄宗李隆基得到一位奇才；李隆基也惊叹于李泌的才华，曾因此对他家进行赏赐，嘱咐其父母''善视养之''，并且还让时为忠王的李亨主动放下身段与其结交。
而以才华横溢、举止优雅、风度不凡著称的名相张九龄，也对这位少年一见称奇；虽然二人年龄（年长近50岁）、地位相差悬殊，但张九龄对李泌视如知己，称其为''小友''，二人结为忘年之交。
