当了短短两个月的皇帝，李显便被废黜，先后被软禁在均州（今湖北省丹江口市）、房州（今湖北省房县）长达十四年之久。
在这十四年软禁生涯中，李显的身边只有妃子韦氏相伴，两人相依为命，艰难度日。这个韦氏在李显当太子的时候被立为太子妃，中宗即位的次年，加封皇后。在李显被废黜软禁期间，韦氏始终与他患难与共，为他排忧解烦，经常鼓励他想开一点，人生总是祸福相依，否极泰来，要耐心等待命运的转机。对此，李显非常感动，曾经对韦氏许诺：有朝一日我要能重登皇位，一定帮你实现一切愿望。
没想到，他真的等到了这一天，在经历了无数担惊受怕的夜晚之后，李显又迎来了新的黎明。按照以往的皇位继承制度，一般都是嫡长子继承皇位，以保证皇位始终在一家一姓中传递。但是武则天是特例，如果让儿子即位，虽然是一家，却不是一姓。
如果让侄儿即位，虽然是一姓，却不是一家。
面对这个棘手的问题，素来果断的武则天一时也拿不定主意。
在调查了大臣的意向之后，加上契丹、突厥先后打出匡复李唐的旗号反周，武家子弟又不堪大任，武则天还是决心将已经被废为庐陵王的李显立为太子，准备还天下给李氏。