不久，任嚣病亡，赵佗向南岭各关口的军队传达了据险防守的指令，曰：“盗兵且至，急绝道聚兵自守。”
赵佗以防止中原的起义军队进犯为托词，借机杀了秦朝安置在南海郡的官吏们，换上了自己的亲信。
除此之外，赵佗起兵兼并桂林郡和象郡。然而，赵佗在进军象郡过程中，与渗透进象郡的一股势力产生了摩擦，这就是安阳王蜀泮所部。
安阳王蜀泮也称作开明泮，原是古蜀的王子，乃为鳖灵的后裔。秦国于公元前316年灭古蜀之后，古蜀后裔辗转到达交趾，打败文朗国最后一代雄王，建立瓯雒国（又称为安阳国），定都古螺（乃今河内近郊的东英县）。
目前，瓯雒国在位之人就是安阳王蜀泮。
赵佗在北江的仙游山与安阳王交战，安阳王在原文朗国雄王降将翁仲、鸿庞、李交、申趾、金龟、黎希、洪康、阮孟、慈廉、丁骈辅佐下，用灵弩击退了赵佗。
赵佗退守武宁山，遣使讲和。双方约定以平江为界，北为赵佗界，南为安阳王界。
仙游山之战过后，翁仲因功被安阳王蜀泮赐予“上等天王”，而鸿庞、李交、申趾、金龟、黎希、洪康、阮孟、慈廉、丁骈也分别被安阳王赐予玄天王、朱天王、苍天王、阳天王、钧天王、幽天王、颢天王、变天王、炎天王称号。