吴芮，生于约公元前241年，卒于公元前201年，是秦汉交替时期的百越领袖，是江西历史上第一个有明确记载的杰出人物。据余干《吴氏宗谱》记载，吴芮的父亲吴申卸任楚国大司马回到鄱阳不久，迁居余干县社庚乡邓墩村五彩山麓，吴芮在此出生。南宋学者王十朋曾到余干县社庚乡邓墩村五彩山吴芮故居凭吊，写了一首《游五彩山》的诗，被收录在余干《吴氏宗谱》里。诗云：“吴芮当年生此山，此山彩色锦官城。如今不爱繁华地，松林森森一青青。吴芮初为番邑令，深得民心尊‘番君’”。
吴芮是春秋时期吴国吴王夫差的第五世孙。吴芮在小时候十分聪颖，很受祖父疼爱，经常对他讲祖上的故事，回忆吴国的辉煌和富饶，讲解历史上的种种教训，从医学角度讲解易学的辩证道理，从棋艺中讲解当年祖先里著名军事家吴起的兵法、阵法。从小教他健身强体，练习拳脚武艺。
青年时代的吴芮，经常研究《孙子兵法》和《吴起兵法》，带着吴氏族人子弟和当年跟随一起南下军士的后代，演练阵法。当时正处在战国年代，《史记．货殖列传》记载：“六岁穰，六岁旱，十二岁大饥”，有旱灾1392次，水灾1621次。公元前214年，吴芮见到徐福（名议，生于公元前255年），徐福是一个富于冒险精神，涉猎广泛，精通儒墨道兵医各家的人，徐福祖上曾在吴国任御医，随太子友（太子鸿）一起南下到瑶里，其后人也一直以医传世。徐福特别看重吴芮兄弟俩，尤其是吴芮的弟弟吴，吴由于长期采药打猎，练就一身好武艺、好箭法，吴也想走出去见识一下世面，于是，吴从旧部后代中又挑选十几个能医善猎、有武艺、还会制陶、会种植药园的青年作徐福的弟子和侍卫，离开家乡随徐福而去。