四年后，窦建德被李世民所灭，张玄素归降唐朝，得到李世民的重用。李世民登基后，张玄素针对政务，多次向李世民提供谏言，李世民认为张玄素为人正直，目光长远，便安排张玄素入东宫，做太子府的官员，用以辅佐太子李承乾。
太子李承乾是李世民的嫡长子，从小被李世民和长孙皇后各种宠爱。长孙皇后去世时，李承乾才16岁，失去了母亲，李承乾性格变化很大，逐渐有些叛逆。
李世民为了培养李承乾，先后把房玄龄、魏征、李百药、于志宁、孔颖达等人派到东宫教导李承乾，但这些人每天都劝李承乾"多读书"、"禁饮宴"、"近贤臣"等，没人在意李承乾的心理感受，李承乾内心却越来越厌学。
张玄素入东宫后，看到李承乾每日只想着游玩嬉戏，不爱读书，便劝谏道：
