说起越南，与中国渊源很深，历史上有很长一段时期是中国的领土，汉武帝灭南越国后，设置交趾刺史部，其中交趾、九真、日南三郡的管辖地域涵盖越南地区。到了唐朝，越南又归交州都督府管辖，后来又改交州都督府为安南都护府。不过在当时，那个地方真是属于蛮荒之地，丛林叠嶂，瘴疠弥漫，生存条件非常恶劣，与少数民族又语言不通，习俗不同，一般人流放到岭南就已经算是很重的惩罚了，沈佺期有诗曰："昔传瘴江路，今到鬼门关。土地无人老，流移几客还。"到岭南就等于到了鬼门关，要是流放到胶州（安南），那简直就是要人命了。
被流放的人不愿意去，当官也一样没人去，好不容易弄个官当当，谁愿意去那种鸟不拉屎的地方受罪？唐朝就有位官员，就不愿意去，但结果却惹恼了皇帝，丢了卿卿性命。
这位不愿到交州上任的官员，叫做卢祖尚，光州人（今属河南）。这个卢祖尚可不是个弱不禁风的文官，而是员威风凛凛的虎将。他的父亲叫卢禧，曾在隋朝任虎贲郎将。受家庭的影响，卢祖尚从小就是个行侠仗义的脾气，好施舍，爱结交朋友，小有名气。
隋朝大业末年，当地盗贼横行，十九岁的卢祖尚血气方刚，出家财招募壮士捕捉盗贼，统御兵众连战连胜，不仅有了名气，也有了自己的本钱。宇文化及叛乱之后，天下大乱，卢祖尚干脆带人占据本州，自称刺史，挖到了人生的第一桶金。后来越王杨侗继位，他派使者献地归顺，杨侗任用他为光州总管，封沈国公，算是得到了官方的承认。再后来，卢祖尚又归顺了唐高祖李渊，担任刺史，封弋阳郡公，跟随名将李孝恭南征北战，多次立功，担任过多个地方的刺史、都督，赢得了能干的名声。
