韦嗣本是大唐玄宗朝兵部尚书，在京城那也是一户响当当的人家。可是，没想到有一天，闭门家中坐，祸从天上来。韦嗣和家人正在家里睡午觉呢，忽然外面“乒乓”作响，大门都仿佛被人踢坏。大家都从梦中吓醒。韦嗣让家人赶紧去看看，哪个不要命的竟然如此大胆。家人到前面一看，一位年近三十的贵妇人，带着四五十个侍女丫环，个个张牙舞爪的，冲了进来。家人急忙拦住，问到底是要干什么呢？没想到人家根本不搭理自己。那许多丫环，在院子里动手动脚，把许多东西都扔到房子外面，然后从外面搬进来许多新家具。
韦嗣急忙出来，口中大喝：“本官乃是当朝兵部尚书，何人如此大胆，竟然擅闯本府？”一些丫环想停手，那个贵妇人说：“别停，继续搬。”然后笑语盈盈走到韦嗣面前，说：“听说，你家的房子要买？要多少钱啊？”韦嗣也不知道这女人什么来头，竟然这么牛气。反正房子是自己的，卖不卖随自己啊。于是韦嗣就说：“房子是祖上传下来的，现在不卖！”
贵妇人微微一笑，也不说话。一招手，从院子外面涌进来一百多个工匠，就上上下下忙碌起来。贵妇人不再搭理韦嗣，命令工匠拆掉这面墙，打通那个房间，然后又有许多人把一些泥土瓦片全部运走，然后又是铺上地砖，来来往往也不知道多少人。一眨眼的功夫，韦嗣的家竟然已经拆的不成样子了。
韦嗣实在气恼，大声呼贺，让家人去早京兆尹报案，看看何人敢如此胆大。贵妇人说：“你去啊，看看那个人敢受理？”韦嗣呆了。悄悄问贵妇人带来的那些工匠，到底这个女人是什么来头。终于有人告诉他，这位贵妇人是虢国夫人。韦嗣大汗淋漓，急忙跑到贵妇人面前，打躬作揖，多番道歉。韦嗣表示，价钱请看着给，只要是留给我们一点点的地方居住就好了。
虢国夫人斜着眼睛看着韦嗣，笑了，说：“看你还比较懂事。看样子，你这样子应该值那么二百来万钱吧。我多给你三斗绿宝石如何？”韦嗣大喜过望，急忙下跪磕头。原来，这位虢国夫人就是杨贵妃的姐姐。杨贵妃入宫之后，已经得到唐玄宗的宠爱。而杨贵妃更把自己的姐姐虢国夫人也介绍给唐玄宗。两个人也如胶似漆。朝中大臣一方面对虢国夫人嘲讽笑骂，说其红杏出墙，与君有染。可另一方面却又对虢国夫人前后逢迎，不敢得罪。于是，韦嗣住了许多年的老宅子，就被虢国夫人夷为平地。夫人的府邸，在长安豪华高大，堪比王宫。
后来，有一次刮暴风将一株大树连根拔起来，落在虢国夫人新宅的堂屋房上。风住后上到堂房顶上看看，基本上没有什么损坏。原来，房上覆盖的是精制的木瓦。整座宅院处处修造的精致程度，都跟这差不多。虢国夫人每次进入皇宫，经常骑着一匹紫骢宝马，旁边有一个小太监为她牵马。紫骢宝马的高大健美，小太监的端庄俊秀，都为当时首屈一指的。