唐朝时有许多楼阁，而在这些楼阁当中，尤以黄鹤楼、滕王阁、岳阳楼以及越王楼最为著名，它们在唐代被合称为"四大名楼"。这其中，越王楼规模最为宏大，楼高十丈，时居四大名楼之首。四大名楼各有千秋，曾有人评说"越王楼霸气、黄鹤楼大气、滕王阁才气、岳阳楼秀气"。
越王楼的修建者叫做李贞，他是李世民的第八子。李贞在李世民诸子当中并不出名，不过他才能不输李泰、李治等人，唐史称他"文武兼备"，"富有吏干"。李贞担任绵州刺史时，兴修水利，扶持农商，发展经济，改善民生，深受当地百姓爱戴。
唐高宗以后，李贞深受重用，他以汉王、原王、越王三王加冠，镇守西南，抵御吐蕃。在李贞的建议下，朝廷划拨五十万两，交由李贞负责修建越王楼。李贞修建越王楼一为加强防御，二为吸引贤才，同时带动当地的经济发展。在李贞的授意下，越王楼修建的富丽堂皇，宏伟壮观，堪比长安城里的宫殿。李贞相信，有了这座楼，蜀地一切人才都可为大唐所用，不过他没有想到的是，有一天大唐的皇帝会逃难至此。
安史之乱发生以后，唐玄宗仓皇逃离京城，进入西蜀。一路上唐玄宗和王公贵族们风餐露宿，担惊受怕。直到进入绵州以后，唐玄宗发现这里竟然有一座越王楼，比之自己的宫殿也不遑多让。唐玄宗大喜，下令以越王楼作为临时行宫，大军驻扎在绵州。
