但是书中说是是一回事，现实又是一回事。谁见过十几岁的有志于朝堂之上的神童放着入仕不顾，而去寻找虚无缥缈的神仙？天下名山多的去了，为何只是在唐朝两京之间的嵩山、终南和华山游历？
他其实是在观风云之变，寻找一个入世的良机。就如同诸葛亮躬耕隆中，不仕刘表是一样的道理。
不久之后，李泌就向李隆基上书，李隆基也想起了这位自己称赞过的神童。于是就召他入京讲解《老子》一书，老子的思想深如大海，如果不参悟透，一般人根本是讲解不好的。
但是李泌讲解的很好，让李隆基龙颜大悦。于是就让李泌待诏翰林，同时又让他做为太子李亨的宾客，供奉东宫。在东宫，李泌充分发挥了自己的才华本领，和李亨建立了很深的交情。
但是不久之后，李泌就被放逐了。原因是他写诗讥讽当时的权臣杨国忠、安禄山。结果得罪了杨国忠，最后被送到蕲春安置。从此一段时间，他游历名山大川以自娱。
