说到匈奴，得把目光向前看到东汉时代。东汉王朝曾与匈奴有过交战，多次击败匈奴，导致匈奴分裂为南、北两部，北匈奴逃往西域，南匈奴一部向汉朝投降，被 汉朝安置在长城以南，作为对抗北匈奴的藩属。汉末大乱，南匈奴也开始有了一些小动作。董卓扰乱天下，南匈奴单于于扶罗乘机攻入河东郡县，就此驻屯平阳一 带。献帝兴平二年（公元195年），李催、郭汜作战，于扶罗在帮助汉献帝平乱时乘机在陕甘一带大肆掳掠，蔡邕的女儿蔡琰（蔡文姬）一就是在这时候被掳去 的。于扶罗死后，其兄弟呼厨泉做南单于。曹操统一中原后，就把南匈奴的人众分为五部，选拔其中的贵人做首领。这时，匈奴的势力已经扩展到山西河南一带。曹 操任命的首领是于扶罗的儿子刘豹，而刘豹的儿子正是后来复兴匈奴的刘渊。
由于祖孙三代已经进入汉族居住地区，刘渊的汉化程度非常高。 他拜名儒崔游为师，学习《易》、《诗》、《书》等典籍，尤其爱好《春秋左传》、《孙子兵法》，并能熟读成诵，同时也读过《史记》、《汉书》和诸子百家。刘 渊还具有匈奴人孔武有力的体格，膂力过人，善于射箭。刘渊非常崇拜汉高祖刘邦，鄙薄刘邦的手下，常说：“随和、陆贾这些人有文无武，绛夫、灌婴等人有武无 文。”言下之意，他自己是文武全才。
刘渊的才华在洛阳时就得到了赏识。晋武帝灭吴时，他曾被举为元帅，树机能叛乱时，他也曾被推荐平 叛，但由于他的匈奴身份，始终得不到信任和重用。他在晋朝担任的职务总是一些不能领兵的左部帅、北部都尉、五部大都督等闲职，受到成都王司马颖的控制，为 此刘渊非常不满。当然，如果不是晋朝内乱，他也不会在历史上掀起多大的波澜。
“八王之乱”造成的混乱局面给了匈奴贵族趁机崛起的机 会。刘渊的堂祖父、右贤王刘宣看到晋朝皇族互相残杀，就对族人说：“自从汉朝灭亡以来，我们的单于都是徒有虚名，不再有一寸土地。其余的王侯，地位降到与 老百姓一样。现在司马氏骨肉亲人互相残杀，四海动乱如同鼎中沸腾的开水，光复呼韩邪的事业，这正是时候！”于是互相谋划，推举刘渊为大单于，并派心腹呼延 攸到邺城去告知。刘渊知道后十分高兴，便以会丧为借口请辞。司马颖不允许。刘渊只好密令呼延攸先回去，通知刘宣等人召集五部匈奴以及各小民族的积蓄力量， 加紧准备，伺机反晋。
永安元年（公元304年），正是八王之乱交战正酣的时候，成都王司马颖兵力不济，难以应付。刘渊抓住这个机会， 自告奋勇向成都王请命说，愿意发匈奴五部之兵助战。成都王想也没想就答应了。刘渊回到左国城（今山西离石），刘宣等人立即给他上封大单于称号。二十多天时 间，刘渊就召集了五万人马，建都左国城，称国号为“汉”。刘宣等人请求刘渊上一个尊号，刘渊说：“现在四方都没有平定，暂且按照汉高祖那样称汉王吧。”于 是，刘渊祭天于南郊，登上汉王王位，宣布大赦，改年号为元熙。
刘渊在中原居住几十年，汉化程度非常高，熟谙汉族人的心理。有几件事情 可以说明一二。刘渊起兵称大单于之后做的第一件事是派五千骑兵去救成都王颖，部将们不能理解，既然我们已经另起炉灶了，为什么还要理会晋朝的家事。刘渊 说：“我已经答应了他，不可以不救。”这话当然是一种政治“秀”，意在表明自己诚信待人，和司马家族的诡诈完全不一样。另外，刘宣等人一心要“复呼韩邪之 业”，而刘渊却说：“呼韩邪何足效哉！”他要做的事业是建立汉朝一样伟大的朝代。他心目中的英雄是刘邦、曹操。刘渊的头脑很清楚，如果自己亮出匈奴的旗 号，肯定不受汉人拥护。他决定利用匈汉和亲关系，把汉朝作为自己的家事，每当说到刘邦，总要说“我高祖”。为了表示尊汉，不仅痛责自己心目中的偶像曹操， 也对刘备未能完成复兴大业深表惋惜。从这些政治“表演”可以看出，刘渊是一个极有政治头脑的高明人物。
刘渊建国之后，派兵四处攻略，一切进行得有声有色，他本人也于晋永嘉二年（公元308年）正式称帝。刘渊甚至还想到偷袭洛阳，一举消灭晋朝。经过两次进攻，洛阳始终无法攻下，还损失了几员大将。刘渊觉得大概晋朝的气数未尽，因此退兵，四处扩大地盘。
刘渊于晋永嘉四年（公元310年）去世，太子刘和嗣位。不久，皇子刘聪杀死他的兄弟，夺得帝位。刘聪再接再厉，终于攻陷洛阳灭亡了晋朝。由于匈奴汉国后来因家族内篡改称赵，因此在十六国史上，这个国家也称为前赵。