（南越相吕嘉）与其弟将卒攻杀太后、王，尽杀汉使者。遣人告苍梧秦王及其诸郡县，立明王长男粤妻子术阳侯建德为王。

——《汉书·西南夷两粤朝鲜传》

元鼎四年（前113年），南越王赵婴齐去世，太子赵兴即位，尊母亲樛氏为王太后。汉武帝得知消息，为了和平统一南越地区，派遣安国少季、终军、魏臣等人出使南越，又命卫尉路博德陈兵于南越以北的桂阳，武力威慑南越国。

自建元六年（前135年）闽越王邹郢入侵南越，汉朝派王恢、韩安国率兵征讨闽越，以致闽越王邹郢死于政变，汉武帝分立繇君丑、馀善为越繇王和东越王，共同治理闽越以来，汉朝东南地区一直保持着相对和平稳定的态势，不过朝廷与闽越和南越的关系，却并未因此得以改善。

当初，汉武帝帮助南越抵御了闽越的进攻后，南越王赵眜对朝廷感激涕零，为了表达对朝廷的顺从，甚至还派太子赵婴齐入京宿卫，实际上就是给朝廷派了一个人质。

赵眜原本还打算亲自前往京城朝见汉武帝，但南越大臣们却对朝廷心怀戒心，待到朝廷的使者离开，便立即劝说他道，“汉朝兴兵杀死邹郢，同时以此威吓南越，其用心可见一斑。况且，先王曾经说过，侍奉天子只求不得失礼，您千万不可因为汉朝使者的几句好话，就经受不住诱惑，前往京城拜见天子。一旦入朝拜见而不能返回，可就是亡国的情势啊！”

听了大臣们的劝阻，赵眜心中也不免打鼓，担心前往长安后不能返回，遂以生病为由，放弃了入京朝见。

元狩元年（前122年），赵眜病重，派人前往长安传讯，并迎接太子赵婴齐回南越即位。在长安宿卫十余载的赵婴齐得知消息，立即上书汉武帝请求归国，汉武帝同意了其所请。

同年，赵眜病逝，谥号文王，太子赵婴齐继承王位。

当初，赵婴齐在前往长安为质之前，曾在南越国当地娶妻，并生下长子赵建德，赵婴齐前往长安宿卫时，因不知此行的安危，便未将其母子带在身边。

赵婴齐宿卫长安十余载，因为始终无法返回南越，便又迎娶了邯郸女子樛氏为妻，并生下次子赵兴和三子赵次公。

赵建德虽为长子，但因长期与父亲分隔两地，父子二人早已生疏，父子之情十分淡薄，而樛氏母子却因为长期跟赵婴齐生活在一起，十分得其宠爱。

因此，当赵婴齐归国即位以后，便上书汉武帝，请求立樛氏为王后，次子赵兴为太子。

虽然按照制度，诸侯国立王后和太子都需要经过朝廷同意，但一般情况下，对于诸侯王推荐的人选，朝廷不会做太多干涉，基本都会照准，赵婴齐所请同样如此，虽说此举有废长立幼之嫌，但汉武帝仍同意了其所请。

然而，赵婴齐这个废长立幼的决策，却为南越日后的权力之争，乃至最终灭国埋下了巨大的隐患。

赵婴齐回国即位以后，朝廷为了加强与南越国的联系，曾多次派遣使者出使南越国，提醒赵婴齐应该像中原诸侯国一样，按时入京朝觐天子，然而赵婴齐对此却是置之不理。

赵婴齐在长安宿卫长达十二年，虽说汉武帝和朝廷对其待遇十分优厚，但那种寄人篱下，时常担忧自己安危的日子，实在不好受，如今好不容易归国，赵婴齐又岂会轻易再涉险地。

更何况，如今身为南越王的他大权在握、随心所欲，他也担心自己一旦入朝，朝廷便会像约束内地诸侯一样约束于自己，自己则要遵照汉朝的律法而失去自主权。

因此，对于朝廷使者的建议提醒，赵婴齐始终置若罔闻，只是遵循父亲的旧例，派第三子赵次公前往长安宿卫，自己则坚决称病不朝。