缺乏合理的政治借口：
神龙政变的名义限制：神龙政变是以张易之、张昌宗兄弟谋反为借口发动的。对外宣称的理由是 “平息二张谋反”，这使得政变的目标主要是针对二张兄弟。既然是以这样的名义进行政变并获得成功，那么在二张已被铲除后，若再对武三思等人下手，就难以自圆其说，容易被人质疑李显等人发动政变的真实动机，甚至可能坐实李显等人兵变谋反的罪名。因为李显是通过武则天禅位继位的，这也表明了此前武周统治的正统性，若对武氏集团进行清算，就等于否定了武周政权的合法性以及禅位的正当性，这对李显的皇位正统性是一种损害。
复杂的政治联姻关系：
武李两家的姻亲纽带：早在武则天执政时期，李显与韦皇后的女儿李裹儿（安乐公主）便嫁给了武三思之子武崇训。这种婚姻关系使得武三思与李显成为了亲家。出于这层关系的考虑，李显可能认为武三思是自己的亲家，既然皇位已经夺回，没有必要再对武三思进行清算，以免两家撕破脸皮，影响皇室内部的关系和稳定。
朝堂势力的权衡考量：
武氏集团仍有一定势力：武则天在位期间，武氏家族势力庞大，虽然经历了神龙政变，武氏集团的势力受到一定冲击，但仍然有一定的影响力。在朝廷中，武三思作为武氏集团的核心人物，仍然有不少支持者和党羽。如果李显贸然对武三思等人动手，可能会引发武氏集团的强烈反弹，导致朝廷内部局势动荡，甚至可能威胁到李显刚刚复位的皇位。
韦皇后的干预：李显复位后，韦皇后开始迅速插手朝中政务。韦皇后权力欲望强烈，想要效仿武则天。而太平公主在 “神龙政变” 中立下大功，也开始积极参与朝政，且其对外廷的掌控力较强。韦皇后为了对抗太平公主，需要拉拢势弱的武氏集团来增强自己的势力。武三思与韦皇后、上官婉儿之间存在着一定的关系，韦皇后出于自身利益和权力争夺的考虑，极力阻止对武三思的清算，而李显性格懦弱，对韦皇后的所作所为基本处于听之任之的状态。
李显自身的性格和能力问题：
性格懦弱：李显生性懦弱，从小在母亲武则天的强势统治下成长，经历了被废黜等挫折，内心充满恐惧和不安。这种性格使得他在面对复杂的政治局势时，缺乏果断的决策能力和强大的统治力，不敢轻易对武三思等人采取强硬的措施。
政治能力不足：李显缺乏政治智慧和谋略，没有清晰的政治规划和布局。他没有认识到武三思等人对李唐政权的潜在威胁，也没有充分考虑到铲除武三思等人可能带来的积极影响，而是被眼前的各种利益关系和政治纷争所困扰，难以做出正确的判断和决策。