事情还得从大家熟悉的三国时代谈起。话说公元220年，三国时期，汉献帝刘协的后裔分为两支，一支留守山阳延续至今，现在位于山阳故城内的墙南村；另一支则选择了万里迢迢、乘风破浪的迁徙之路。
在第四任山阳公刘秋及其同辈刘阿知时期，也就是说汉献帝的玄孙时期，执掌政权的己是篡魏自立的司马王朝，也就是西晋。颇有远见的刘阿知知道不能一直留在此地，怕惹上杀身之祸，于是决定率族东渡倭国。
落户日本后，刘阿知为首的这个部族被称作"渡来人"，他们是一批掌握了汉民族先进科技文化的"高级知识分子"，主要从事文字工作和工艺制造。尽管他们是外来人，但汉朝在当时日本人心目中有着极高的地位，而且他们带去了中国的先进生产技术和文化知识，促进了日本文明的发展，因此，他们很快成为日本社会中地位颇高的新贵族。刘阿知被天皇赐姓东汉使主，定居于高市郡桧前村（今日本奈良县桧前村)，他的长子刘都贺后来被天皇赐姓为直。
