第二天醒来，李渊揉揉双眼，左右一瞧，竟有两个裸体美人躺在身边，当得知这两个美女就是晋阳宫的尹张二妃之时，顿时吓得脸色煞白，魂飞魄散。李渊急急跑出行宫和裴寂撞个正着，裴寂假装正色斥责李渊，说他趁皇上不在晋阳行宫，居然跑进宫中坐龙椅，睡龙床，还淫污皇上嫔妃。
大业十一年，隋炀帝北巡路过晋阳，修建了晋阳行宫。宫中设有正副宫监各一人，以管理晋阳宫的事务。据《新唐书》记载，高祖留守太原，领晋阳宫监，而所善客裴寂为副监。
当时晋阳地方官吏为了向隋炀帝献媚，在晋阳地区挑选美女，供其淫乐。隋炀帝在晋阳宫中只停留了几天便走了，留下了一堆美人长守深宫，其中有尹姓和张姓两美女。
据《新唐书》记载，高祖子世民知隋必亡，阴结豪杰，招纳亡命，与晋阳令刘文静谋举大事。计已决，而高祖未之知，欲以情告，惧不见听。
李渊是何许人呢？据史料记载，李渊者，鲜卑姓大野，字叔德，先祖本为赵郡，即今日河北赵县李氏。祖父李虎，西魏时官至太尉;其父李＃死后唐仁公。
隋文帝文献皇后也就是孤独皇后是李渊的亲姨妈，所以李渊和隋炀帝杨广是表兄弟关系，他也受到了隋朝的重用，七岁即袭唐国公，后为太原留守，高官显爵，位高权重，根本不想过要当皇帝。