公元649年（贞观二十三年），李世民病重，弥留之际，他单独召见长孙无忌和中书令褚遂良，两人被任命为辅政大臣。唐高宗李治即位后，对亲舅推举之恩万分感激，立即进封长孙无忌为太尉，兼扬州都督，仍知尚书及二省事.长孙无忌也竭尽忠忱，数进良谏，高宗无不优纳。李治还是太子的时候，一次遇到太宗才人的武媚娘，就被她的美色所吸引。太宗驾崩后，武才人被送往感业寺落发为尼，李治以上香为名，到寺庙见到武才人，两人立即如胶似漆。王皇后听说此消息马上令武才人留起头发，劝高宗纳武才人为后宫。原来当时王皇后没有孩子， 目的想夺有孩子而受宠的萧淑妃。让两人没有料到的是，武才人聪慧异常，不久就大受高宗宠幸，进封昭仪，王后、萧妃一齐被冷落。
不久武昭仪生下一个女儿，王皇后见了心中真的十分怜爱，抱在怀中逗弄，然后离开。武昭仪暗中潜入，活活掐死自己的亲生女儿，然后等高宗看视时大哭大闹，陷害说王皇后弄死了自己的女儿。高宗勃然大怒，想废掉王后。但是皇后母仪天下，又是结发之妻，高宗自己还真做不了主，便想让亲舅帮自己一把。高宗和武昭仪多次请求长孙无忌废掉王皇后，都没有得到同意。高宗召集长孙无忌、李蕖⒂谥灸、褚遂良四人入内殿。李薇冉鲜拦剩称自己有病没有去。褚遂良对长孙无忌说:今日圣上召见，肯定是立后之事，上意已决，逆之必死。太尉元舅，司空功臣，不能让皇上蒙受杀害元舅和功臣的污名。我褚遂良出身布衣，备位辅政，受太宗托之恩，当以死争之！君臣见面后，高宗说:皇后无子，武昭仪有子，现在要立昭仪为皇后，怎么样？
褚遂良答道:皇后出身名门，是太宗皇帝为陛下所娶。先帝临崩，拉着我的手说:‘朕佳儿佳妇，今以付卿’。陛下您当时在场，言犹在耳。皇后没有过错，怎能轻废！高宗一时无语。几天后，高宗又召见几人，问同样的问题。陛下您果真想换皇后，可以从天下名族中仔细挑选.武氏曾侍奉先帝，天下所知.万代之后，后世对陛下会怎么评论呢！褚遂良言毕叩头言罪:为臣逆忤陛下，罪当死！并解下官帽放下手中官笏，请求高宗把他放归田里。由于戳到高宗的痛处，李治大怒，命卫士把老头子拉出去。武昭仪也在殿后大叫:何不扑杀这个乡巴佬！长孙无忌此时喊道:遂良受先帝顾命，有罪不可加刑。同去的于志宁一直低头不语，大气不敢喘一口。过了几天， 高宗召李奕爰，又问他这件事，李世薇冉侠铣墒拦剩说:此陛下家事，何必更问外人！李治听了暗喜。
得势小人许敬宗趁机在上朝时对百官宣言:田舍翁多收十斛麦，尚欲易妇；何况天子欲立皇后，关众人屁事而妄生异议！不久，李治下诏称王皇后、萧淑妃谋行鸩毒，废为庶人，并立武昭仪为皇后。从此，高宗对长孙无忌不再信任，武皇后对他更是恨之入骨，但她摸不准长孙家族的势力和底细，暂时不敢动他。公元659年（高宗显庆四年），一直对长孙无忌怀恨在心的许敬宗借一起朋党案件，把长孙无忌牵扯进去，诬称他构陷忠臣，伺机谋反。高宗起初闻言还真吃了一惊，流泪说:我家不幸，亲戚间屡有如此事发生，往年高阳公主与房遗爱谋反，现在元舅又干这事，使朕愧对天下人！如果事情属实，怎么处理？许敬宗答道:房遗爱乳臭未干，与一女子谋反，能成什么大事！长孙无忌与先帝一起谋取天下，为宰相三十年，天下畏其威名。如果哪天他忽然起事，陛下您派谁能抵挡他！为臣我从前也见过先例，宇文述与宇文化及父子都为隋炀帝亲任，结以婚姻，委以朝政，一夕事发，先杀不附已之人，为臣一家也惨遭杀害，其余大臣惶恐听命，不过数个时辰，隋室已亡！高宗沉默不语，只是流泪。
这许敬宗猜到他心里的难处，立即说:汉朝薄昭，也是汉文帝的舅舅，也有拥立之功。薄昭仅仅犯了杀人之罪，文帝就让朝臣们身穿孝服齐坐于薄昭家门口哭吊活人，逼得薄昭自杀，至今天下以汉文帝为明主。现在，长孙无忌忘两朝大恩，谋移社稷，其罪与薄昭不可同年而语啊。他是司马懿、王莽一类人，陛下稍加犹豫，后悔无及！高宗最后竟不加亲自审问，就下诏削夺长孙无忌太尉封号及封邑，流放黔州。不久，许敬宗又派人到黔州重审长孙无忌谋反案，到州后逼令无忌自缢而死，并抄没家产，子孙长流岭外荒野之地。