李贤两岁的时候，他的亲哥哥李弘代替李忠成为皇太子，他头上的虚衔也多了起来，比如被加封为岐州刺史、雍州牧和幽州都督。随着年龄的增长，他又先后被改封为沛王、雍王，还曾一度改名为李德。
李贤幼时很聪慧，有过目不忘的本领，而且不读死书。他几岁的时候就能感受到《论语》里"贤贤易色"四个字另有深意，因此被唐高宗称赞是天生的聪明。
当然李贤也并非一心只读圣贤书，他也有调皮捣蛋的时候。他十几岁时和弟弟英王李显在一块斗鸡，当时身为王府修撰的王勃不但不加以劝诫，反而写《檄英王鸡》助兴，结果被唐高宗逐出王府。
童年的岁月大概是李贤一生最美好的时光，那时哥哥李弘仍在，有弟弟一起玩耍，又深得父亲喜爱，不用担任太沉重的角色，只需慢慢长大就好。
