在使团中担任副使的吉备真备和晁衡是第一次进入大唐时学习的好友，再次重逢自然十分高兴。
让晁衡又动了归国的心思，在公元753年，日本出使大唐的使团，完成在大唐的事情后，准备归国，晁衡请求和他们一起回国。
可能是因为晁衡岁数大了，因为晁衡刚来到唐朝时才十九岁，请求回国的这个时候，晁衡已经五十六岁的老人了。也可能是唐玄宗感念晁衡在大唐做官十几年，一直兢兢业业，加上家中的父母已经年迈，这才批准晁衡的归国请求。唐玄宗并任命为唐朝回聘日本使节，任命外国人作为使节，这在历史上也是十分罕见的。
晁衡在归国的前一天，诗人王维还为晁衡写了送行诗送秘书晁监还日该国。
