古南越国的丞相吕嘉是一位经历了南越三位君主的元老级大臣，也是当地越人的首领，被称作“越众酋师”。据说吕嘉以前曾是西瓯的酋长，也接受了中原文化的教育。赵佗先是攻占了岭南地区，为了拉拢当地的越人，赵佗选择提拔一部分在当地德高望重的领导人，让他们带领越人服从大秦的统治。所以吕嘉才被选为了丞相。
赵佗在秦朝灭亡以后，在驻守的南越地区称王建国，南越国继承了秦朝的郡县制，很多的刑法也是继承的秦朝的法制。南越的丞相就如同秦朝时期的丞相李斯一般，手中还是握有很大的权力的。而吕嘉又是连任三届丞相，更是南越国的历史上所没有的。司马迁在《史记》中记载吕嘉身为南越的丞相是这样说的“其相吕嘉年长矣，相三王，宗族官仕为长吏者七十余人，男尽尚王女，女尽嫁王子兄弟宗室，及苍梧秦王有连。其居国中甚重，越人信之，多为耳目者，得众心愈于王”。俗话说一人得道鸡犬升天，吕嘉连任三届丞相，吕嘉背后的家族自然也有很多在朝中任职，吕嘉的权势遍布南越朝廷，是当之无愧的第一大臣。
吕嘉的家族和王室通婚，一定程度上吕嘉和皇室的利益关系是共存的，王室灭则吕嘉亡。再说吕嘉身为南越的丞相，处处为南越考虑，汉武帝直接插手南越国的政务，甚至可以直接任免南越国内朝中的官员，俨然已经将南越国当成了自己的郡县来管制。吕嘉作为南越丞相，家族中人数众多，又都是有权势的人，他们的利益被汉武帝破坏了，自然会反对汉武帝插手南越之事。
赵婴齐让汉人樛氏为王后，让樛氏的儿子赵兴为太子本就已经打破了南越国内的局势，他们可以说是中途插队的人，是赵婴齐从汉朝带回来的。但是赵婴齐在南越早就有了妻儿，而且还是南越大家族的女儿。赵婴齐的这种做法为后来吕嘉叛乱埋下了祸端，使得朝中吕嘉等南越本地大臣世家等的权力受损，对汉朝的仇恨和敌意越来越重。
赵兴继位以后，丞相吕嘉也没有反对，还是尽心的辅佐着他。但是汉武帝却派了一个曾经和樛氏私通的男子安国少季来当使者，劝说赵兴和樛氏要到汉朝的京城去拜见汉武帝，表示尊重。而这个安国少季来到南越以后居然又和樛氏私通，南越大臣们都不依附樛氏。樛氏是汉朝人，赵兴的身上也有一半的汉族血统，更何况赵兴还在汉朝生活过。对于南越人来说，这对母子怎么看怎么像卖国贼。安国少季让樛氏他们尽快动身到京城去，樛氏也常常劝说大臣们归附汉朝。此时南越大臣们心中已经认定了赵兴和樛氏是出卖南越的叛徒，根本就不会停。而赵兴和樛氏已经在准备马车前往京城了。
吕嘉多次对赵兴说不可归附汉国，但是赵兴都没有采纳。在南越，吕嘉才是那个真正拥有实权的人，他的态度决定了南越的态度，吕嘉逐渐有了背叛赵兴的念头，甚至找借口不去见使臣。赵兴害怕吕嘉造反，和母亲一起举办了一场宴会，希望借助汉朝使者的权力杀了吕嘉，但是二人犹豫不决没能杀了吕嘉。吕嘉已经洞悉了赵兴等人的阴谋，于是赶紧逃回住处，让自己的弟弟派兵保护自己，再也不接受任何邀请了。赵兴和吕嘉两人都没有动作，使者坐不住向京城传去了这边的消息。于是汉武帝派韩千秋领兵出使南越。吕嘉得到消息，迷惑韩千秋进入了南越，然后将他们2000多人的军队全部杀死。这样一来，吕嘉的叛乱就坐实了。吕嘉杀了赵兴和樛氏，扶持傀儡赵建德继位，正式和汉朝对抗。无奈最后没能打败汉朝军队，南越也从此灭亡了。