早期的遣唐使团，规模都比较小，只有一两艘船，人数也只有百余人。而且，早期遣唐使的目的，并不是前来学习唐朝的文化制度。北京大学中国古代史研究中心王小甫教授说："从隋朝到唐朝初期，日本对华使多为政治目的，而且带着一种骄傲态度，甚至是傲慢。"如唐初公元660年，日本遣唐使向唐朝皇帝提出，要求一些小国"每岁入贡本国之朝"，以显示自己是和唐朝一样使夷狄臣服的大国。直到公元663年，日本企图帮助被唐朝吞灭的百济复国，在白村江(今韩国西南部的锦江)与唐朝军队打了一仗，遭遇惨败之后，才发现自己的实力远不如唐朝。自此以后，日本遣唐使的目的才转变为虚心学习唐朝文化，不再谋求与唐朝平起平坐。
日本真正向唐朝派出留学生，应该是从公元717年第9次遣唐使开始的。第9次遣唐使出动了四艘船，人数多达557人，其中包括阿倍仲麻、吉备真备等留学生。阿倍仲麻吕来唐时19岁，入国子监"太学"学习，后考取进士。唐玄宗赐名晁衡(又称朝衡)，并让他担任皇帝侍从官的左补阙。阿倍仲麻吕终身在唐朝为官，他和李白、王维来往密切，彼此经常写诗唱和，73岁在长安逝世。吉备真备留唐17年，就学于国子监"四门"，深通五经三史、历算、刑律、军制等诸艺，回国后受到圣武天皇的器重，官至右大臣。
