凌烟阁本身只是一个小小的阁楼，为什么名气那么大呢？因为其中的二十四功臣。在贞观十七年，唐太宗在这里评选了他心目中的二十四功臣。而在北周的 《周柱国大将军纥干弘神道碑》中有这样的记载："天子画凌烟之阁，言念旧臣；出平乐之宫，实思贤傅。"
而在《大唐新语·锡》则是记载的更为详细：" 贞观十七年，太宗图画 太原 倡义及 秦 府功臣 赵公 长孙无忌、河间王孝恭、蔡公杜如晦、郑公魏徵、梁公房玄龄、申公高士廉、鄂公尉迟敬德、郧公张亮、陈公侯君集、卢公程知节、永兴公虞世南、渝公刘政会、莒公唐俭、英公李绩、胡公秦叔宝等二十四人於凌烟阁，太宗亲为之赞，褚遂良题阁，阎立本画。"
这二十四功臣依旧不同的官位和在太宗心里的贡献指数，当时还是主要按照官阶来排列的。其中参照的有对李唐立下的功劳，是不是参加了宣武门兵变。为了怀念当初一起打天下的人，唐太宗在凌烟阁设置了功臣的画像。也就是《二十四功臣图》，从此凌烟阁这个地方的特殊意义又加重了。它在也不是一座普通的阁楼了。
