长孙无忌进一步剪除魏王李泰的党羽。岑文本、刘洎、马周虽然已经去世，但房玄龄的儿子房遗爱、柴绍的儿子柴令武等李泰的支持者还在。长孙无忌最想害死的是李泰（此时李承乾已死）。但高宗素来友爱，不仅死活不肯答应，反而对这个落魄的哥哥极为照应。贞观二十三年（649）十二月，他下诏为濮王李泰开府置僚属，“车服珍膳，特加优异”。但李泰心情抑郁，于永徽三年（652）十一月病死了。李泰一死，迫不及待的长孙无忌立即就对房遗爱等人下手了。
长孙无忌的画像
房遗爱等人虽是李泰的支持者，但是高宗即位后，他们并无不轨的意图。因此，长孙无忌很久都没有抓到把柄。但就在李泰去世的当月，一件突发的小事引起了长孙无忌的注意。房遗爱的官职是散骑常侍，此外，他还有另一个身份――太宗的十七驸马。房玄龄是重臣，因此太宗将自己的十七女高阳公主嫁给了房玄龄的次子房遗爱为妻。
这位高阳公主是李唐宗室女眷中出了名的泼辣放荡货。她是公主，懦弱的房遗爱对她只能是惟命是从。房玄龄去世后，高阳公主挑唆丈夫与其兄房遗直分家。因为对分家（分财）结果不满，不久后她又向太宗诬告房遗直。房遗直如实向太宗禀明。太宗听了非常生气，严厉地斥责了高阳公主，从此对她不再宠爱。高阳由此“怏怏不悦”
不久后，唐宫内的一件宝贝――金宝神枕被盗。御史经过调查，发现此事与唐玄奘的高徒辩机有关，并在辩机的住所找到了金宝神枕。这位辩机不仅才华超众，而且容貌俊秀英飒，气宇不凡。高阳公主初见他便淫心荡漾，不久便与辩机私通。她送给辩机的钱财数以亿计，甚至不惜偷盗金宝神枕给辩机用。为了堵住丈夫的嘴，她甚至买了两个美女伺候房遗爱。房遗爱乐得享用美女，对妻子和辩机的勾当置若罔闻。太宗听了御史的报告后，勃然大怒，“腰斩辩机，杀奴婢十余人”。高阳公主对父亲越发怨望，甚至连太宗死的时候，她都“无戚容”。
高宗即位后，高阳公主再度挑唆丈夫与大哥房遗直“相讼”。高宗也很恼火，各打五十大板，将房遗爱贬为房州刺史，房遗直贬为隰州刺史。丈夫被贬，高阳索性更加放纵，竟与智勖等数名和尚私通，而且居然还暗中指使掖庭令陈玄运窥探皇宫内祈求鬼神祸福之事。
妻子如此，丈夫也好不到哪里去。房遗爱对高宗将自己贬官之事耿耿于怀。太宗的十五驸马、丹阳公主之夫、大将薛万彻在永徽之初也因为犯事而被高宗出名，贬官宁州刺史。他与房遗爱是好友，在入朝时，私下里对房遗爱诉说其对高宗的不满，并骄横地说：“今虽病足，坐置京师，鼠辈犹不敢动。”两人商定： “若国家有变，当奉司徒荆王元景为主。”荆王李元景是太宗的六弟、高宗的六叔。此人也是个野心家，早年曾对人说过，梦见自己手把日月。李元景的女儿是房遗爱三弟房遗则的妻子，因此与房遗爱相识，常有往来。此外还有太宗的七驸马、巴陵公主之夫、柴绍之子柴令武，借口巴陵公主生病，留在京师，暗中与房遗爱、薛万彻、李元昌等策划发动叛乱。
高宗对此毫不知情。没想到，高阳公主的恣意妄为却让房遗爱等人的阴谋意外败露。高阳公主深恨房遗直，指使小人诬告房遗直非礼自己。高宗派人调查。房遗直为了自保，便将房遗爱和高阳公主的图谋作乱的事情告诉了高宗，并说：“罪盈恶稔，恐累臣私门。”高宗就派长孙无忌调查。长孙无忌查证属实。按理说，只要处理房遗爱、薛万彻、柴令武、李元昌、高阳公主等人就可以了。但长孙无忌觉得，这是剪除一切异己势力的大好机会。因此，他罗织罪名，将所有没有参与此事的李泰余党以及所有在政见上与自己对立的人都牵连了进来。
安州都督吴王李恪，“名望素高，为物情所向”，曾是高宗太子之位的有力竞争者。长孙无忌想除掉他不是一天两天了，此时便骗房遗爱说，只要他说李恪也参与了他们的阴谋，便可以保他不死。愚蠢的房遗爱信以为真，就诬说李恪也参与了阴谋。侍中宇文节本是长孙无忌的人，但是他和房遗爱关系很好。房遗爱下狱后，他多方走动，四处打点，意图营救房遗爱，因此而得罪了长孙无忌。长孙无忌就说他和房遗爱“交通”。此外还有江夏王李道宗、左骁卫大将军执失思力（太宗的八驸马），仅仅是和长孙无忌政见不同。但长孙无忌借口他们与房遗爱“交通”，将他们统统牵连了进来。