李显是武则天和唐高宗的儿子，母亲很强势，李显小时候没少受罪。那个时候，武则天一心向上爬，遇佛杀佛，遇神杀神。挡我者死，李显本来就胆小，自然害怕成为炮灰，甘心情愿做小白鼠。父亲李治病死后，李显曾被立为皇帝。不过大权一直由母亲武则天独揽。即位36天，武则天看李显不顺眼，一道谕旨，便把儿子贬出京城，做了庐陵王。
李显先后被软禁均州、房州14年，吃住宛如囚徒，只有妃子韦氏不离不弃。由于条件太差，多少次李显都有轻生的念头，是韦氏殷勤劝慰：祸福倚伏，何常之有，岂失一死，何遂如是也。难中见真情，此时李显愈来愈感到自己夫人的可贵，于是发下誓言：一朝见天日，誓不相禁忌。
武则天晚年，因为狄仁杰的劝说，再次立李显为太子，狄仁杰说：太宗皇帝栉风沐雨，亲冒刀枪箭镞，平定天下;高宗大帝将二子托付陛下，陛下今乃欲让位他族，有违天意。且姑侄与母子谁亲？陛下立子，则千秋万岁之后，配食太庙，承继无穷;立侄，则未闻侄为天子而祭祀姑姑太庙的。武则天感悟。是日，武则天对狄仁杰说：朕梦见鹦鹉两翼折断，是何征兆？狄仁杰借题发挥：武者，陛下之姓，两翼，二子也。陛下起用二子，即可振翅高飞。武则天去世之后，李显被大臣拥戴为皇帝。因为感念昔日韦氏的大力支持，所以对韦氏格外厚爱。那韦氏一心想做第二个女皇帝，于是尽力和武则天家族的人搞好关系。