另外还有在晁衡和使团归国的的途中，他们所乘的船遇到了风暴，其中藤原清河大使和晁衡的所乘的第一艘船，因为风暴导致船在越南的海岸触礁，与其他船失去了联系。这一船的大多数人因为在越南的海岸触礁后，被越南当地的强盗杀害，幸运的是藤原清河大使和晁衡等十余人还幸存着。
传闻晁衡在途中遇难，李白更是悲伤的写出了哭晁卿衡的诗篇，深刻的表达了二人的友谊。
不过好在最后晁衡平安归国，并于755年6月历经艰险再次和使团们来到长安，好友们见到晁衡平安脱险，都十分高兴。
晁衡这次来到长安后，过了半年左右，大唐爆发了安史之乱，唐玄宗去往长安避难，晁衡也跟着前往，直到757年12月，长安被夺回后，跟随唐玄宗返回长安。
