赵构在一开始的时候如同他的父亲徽宗赵佶一样，都与皇位无缘，所以他们的启蒙教育与训练都无关国家政事，而是以琴棋书画的文人教养为主，这是为何等到他们因为一场意外而继承皇位之后，则显得国家朝政文人气质浓厚，但帝王本人却缺乏治国能力的主要原因。
尽管在高宗所处的时代正值战乱的混乱时期，但他依然耽于书画收藏与创作。周密曾总结地说起赵构对书画艺术的爱好程度：
思陵（赵构）妙悟八法，留神古雅，当干戈俶扰之际，访求法书名画，不遗余力。清闲之燕，展玩摹拓不少怠。盖嗜好之笃，不惮劳费，故四方争以奉上无虚日。后又于榷场购北方遗失之物，故绍兴内府所藏不减宣政。
和父亲徽宗一样，高宗雅好书画简直到了荒废政事的程度，根据吏部侍郎杨王休著作的《南宋馆阁续录》的记载，在公元1199年南宋已经积蓄累积了1000余幅历代书画，而这些收藏都完成于赵构之手。赵构不但自己收藏把玩，甚至也把这些作品当作是与金朝媾和的条件，将一些绝世、稀罕的作品送给北方金国，以取悦当时也爱好书画的金章宗，现存的王羲之《远宦帖》、顾恺之《女史箴图》上面同时出现南宋高宗与金章宗的收藏玺印，可见得这些收藏同时经历过南北两地的统治者之手，而这正是赵构送给金朝的一大批艺术品中的具体明证。
