其实，不用刻意去探寻，在他的心中，有一个人，就像影子一样跟随着自己的人，一直清晰地在他的脑海里游走，他不用看，也不用想，就知道那个人是谁；此 刻，那个人也在密切地注意着他的剑锋所在。那个人是谁呢？这个人就是与秦王政有恩，也与他有怨，使他爱，也使他恨的相邦 吕不韦。
对于如何处置吕不韦，秦王政似乎很是有点踌躇。
这是因为，吕不韦是彻底改变了他们一家人命运的“贵人”。虽然吕不韦是用商人的眼光来辅助他的父亲成为秦国国君的，而且也是怀着同样的心思救他母子二人 性命的。但是，如果没有吕不韦处心积虑的经营，四处奔走，被抛弃在赵国的秦异人就不会变成秦庄襄王，他就只能永远是一个衣食无依的“邯郸小子”，决不会当 上秦王；其次，秦王政是在吕不韦的眼皮子底下长大的，他从小就对吕不韦无比尊敬又无比畏惧，被立为秦王之后，他更是把吕不韦当做“仲父”来侍奉的。我们可 以想象，秦王政从小就天天接受吕不韦耳提面命式的教导，如今，吕不韦既是他的“仲父”，又是他的政治启蒙老师，还是辅佐他执政的股肱之臣，正是因为有了吕 不韦，由他这个不足13岁的小孩子主政的秦国才能继续保持政治稳定，经济发展，军力强大，对六国形成“不敢西顾”、“唯求自保”的威慑局面；另外，在平定 的叛乱中，吕不韦以顾命大臣的身份，亲自领军平叛，而且战绩斐然，立下了匡扶天下的大功劳……
可是，正是这个让秦王政既畏且敬的 吕不韦，却又给秦王政制造了难以启齿的政治隐痛与永难平复的心灵之痛。首先，随着年龄的增长和政治上的逐渐成熟，秦王政越来越强烈地感觉到，吕不韦的辅政 权力远远地超过了他作为一国之君的权力，而且，吕不韦以他雄厚的政治基础和无人能及的政治资源，正在把他推向政治的边缘地位；不仅如此，吕不韦组织门客编 纂的《吕氏春秋》，正在通过文化渗透，悄悄地把秦国这个正在崛起的“超级大国”引向另外一条历史的航道。其次，吕不韦与太后的私情及其关于自己出身的议 论，对秦王政造成了一种政治上的极不安全感，个人身世的困惑感和个性情感上的羞耻感，使秦王政对吕不韦产生了一种深入骨髓的怨恨之情；此外，正是吕不韦将 送入太后宫内，使其淫乱宫闱并生下了在名分上与秦王政同为兄弟的私生子，虽然的叛乱与吕不韦的推荐入宫没有直接的因果关系，但也难辞其咎，不予惩 处，不仅难消秦王政之恨，也难息秦王宗室贵族之怨。
在经过较长一段时间反复的利害权衡之后，秦王政还是决定要除掉吕不韦。但是，以什么理由、什么方式除掉这个让他爱恨交加，而且党羽布满朝廷，声望如日中天的“仲父”呢？
秦王政身边当然不会缺少玩弄政治把戏的高手，秦王政本人也决不缺少“猫捉老鼠”游戏的政治智慧。经过一番精心设计，秦王政决定利用事件做文章，他把 供词中关于吕不韦入秦之后长期与太后私通，举荐假宦官入宫的情节作为处罚吕不韦的理由，突然下令免除吕不韦的相邦职务，等待下一步的处分。
吕不韦本人是如何对待此事的，史书上没有明确的记载，但却记载了吕不韦的门人及其大量的宾客士人为他求情的事情。秦王政本来是想将吕不韦处死，了结恩怨 纠葛，但是迫于社会舆论压力，同时也考虑到吕不韦毕竟是有大功于秦，大恩于他们父子的，于是就暂时宽宥了吕不韦，将他逐回河南的封地，远离政治中枢，闭门 思过。
可是，吕不韦在回到河南封地之后一年多的时间里，并没有过着秦王政所希望的“闭门思过”式的生活。虽然吕不韦不曾主动地交结诸 侯，但各国的诸侯对于吕不韦在秦国的政治影响，及其超绝他人的政治才华还是非常敬慕的（当然也有出于政治目的或者其他目的原因），于是就纷纷派出使者聘问 吕不韦，以至于出现了“诸侯宾客使者相望于道，请文信侯”的情形。
很自然的，吕不韦与各诸侯国之间的密切往来，引起了秦王政的高度重 视和深重猜忌。但是，曾为秦国相邦、心机缜密的吕不韦却忽略了秦王政的存在，没有考虑到他虽然已经被罢免了相位，但他仍然是秦国的文信侯，享用的仍然是秦 国的脂米，他与其他六国使者的频繁交往，只会给秦王政带来交接诸侯、损秦利敌的猜疑和新的政治压力。而他依然故我，怡然自得，不把秦王政放在眼里的举动， 是绝对会刺激秦王政那暴戾（lì）多疑的神经的。
果然，在秦王政十二年，忍耐已经到了极限的秦王政，终于斩断了他与吕不韦的最后一缕 恩情，派人送给吕不韦一封措辞极为严厉，带有强烈的憎恶色彩的信件。秦王政在信件中斥责吕不韦说：“你对秦国有什么功劳？秦国封你为文信侯，让你享用十万 户的租税？你到底和秦国有什么亲情？竟然称自己是‘仲父’！从接信之日起，你们一家人都给我迁到蜀地去！”这封信从文辞上看，似乎只是对吕不韦发泄他的不 满，其实，文意的内涵很丰富，因为说吕不韦无功受禄，就等于否定和抹杀了吕不韦对于秦国的贡献，说吕不韦无亲而尊，就是向吕不韦宣告他们之间已经恩断义绝 了，不要再以为自己对秦有功，和秦有亲，现在迁徙你，已经是仁至义尽了，你自己斟酌吧！
吕不韦当然明白这些话里的真正意思，以他对秦 王政个性的了解，他知道这次秦王的确是下了让他死的决心，他如果苟且地在蜀地活下去，秦王政一定会在心底里鄙视他，会变本加利地羞辱他，而且，他如果真的 那样做了，就会毁了一世的英名，同时也会使那些视他为神的追随者蒙受耻辱，于是，他选择了饮鸩而死，用死捍卫了他最后的人格尊严和生命的辉煌。
吕不韦死后，他的门客偷偷地把他埋葬在洛阳的北芒山，并且为他举行了盛大的葬礼，据说参加葬礼的有数千人之多。平心而论，吕不韦的门客与吕不韦有“君臣 之义”，他们埋葬和哭祭故主无可厚非，而举行如此庞大的祭葬，固然有以此向吕不韦表达他们敬爱与痛惜的“君臣之义”，可也有向秦王政表达他们无言的愤懑与 抗争的成分。然而，仍然生活在 春秋战国以来思想自由风气中的士人们未免太天真了，为了实现秦国先祖统一天下梦想的秦王政，决不会因此而罢休。秦王政又一次 翻动无情的铁腕，以为吕不韦举行葬礼是对秦王的大不敬为借口，将吕不韦集团在朝野的残余势力扫除一空。据《史记》记载，秦王政对于参与会葬的人的处罚是很 严厉的，如吕不韦的门客，凡是参与哭葬的韩、赵、魏籍的士人，一律驱逐出境；秦人中俸禄在六百石以上的，剥夺其爵位，并且迁徙到房陵。俸禄在五百石以下， 没有参加哭葬的人，虽然并不剥夺爵位，但也一律迁徙。而且还把和吕不韦作为反面教材，警告那些心怀不满的秦国权贵，如果再敢与秦王争权，就把他们全家 登记造册，没为官奴。