吕氏在般若寺生下杨坚时，紫气充庭。这时，有个从河东来的尼姑对吕氏说：这个孩子不是凡人，不能在凡间养。于是，尼姑把他抱到庙里一个别院躬自抚养。吕氏有一次抱起小孩，发现小孩头上长角，身上长鳞，又惊又怕，把小孩丢在地上。
《资治通鉴》上有一段非常有趣的记载：陈朝至德元年（公元583）十一月，陈后主陈叔宝遣散骑常侍周坟、通直散骑常侍袁彦出使隋。陈叔宝听说隋文帝杨坚状貌异人，便让袁彦画像而归。当陈叔宝看到杨坚的画像后，大骇道：吾不欲见此人！立刻命人将画扔了。
杨坚的相貌到底奇异在何处，以致他的死对头陈叔宝看到画像后如此惊惧呢？
根据《隋书》的记载，杨坚为人龙颔，额上有五柱入顶，目光外射，有文在手曰王，长上短下，沉深严重。由上面的描述可以看出，杨坚的相貌有五奇：一、额头突出，并有五个隆起的部分从额头直插到头顶上；二、下颌很长，而且很突出；三、目光犀利，咄咄逼人；四、掌纹形似王字；五、上身长，下身短。
他这个长相，生下来不久就让他的母亲吕氏大骇了一回。
吕氏在冯翊（今陕西大荔）般若寺生下杨坚时，紫气充庭。这时，有个从河东来的尼姑对吕氏说：这个孩子不是凡人，不能在凡间养。于是，尼姑把他抱到庙里一个别院躬自抚养。吕氏有一次抱起小孩，发现小孩头上长角，身上长鳞，又惊又怕，把小孩丢在地上。尼姑进来看到，说：已经惊到了我的孩子，他要多花些年头才能得到天下。《隋书》、《北史》隋本纪上都记载说，杨坚在庙里一直长到12岁才回家。
《隋书》中记载：齐王宇文宪对当时的北周皇帝宇文毓说：杨坚相貌非常，臣每见之，不觉自失。恐非人下，请早除之。皇帝说：他不过只能做个将军而已。内史王轨也对皇帝说：皇太子非社稷主，杨坚貌有反相。帝不悦，曰：必天命有在，将若之何！杨坚听说这件事后非常害怕，深自晦匿。
宇文毓虽然强为镇静地说必天命有在，将若之何之类的话，其实心里也有点害怕，派善于看相的赵昭去为杨坚相相面。赵昭坚信杨坚当为天下君，他采取了一个两面派的手法：他一面骗宇文毓说杨坚只是一个作柱国（官职名）的材料，另一方面又去巴结杨坚，把真相都告诉了他，并悄悄地对杨坚说：你一定会当皇帝，而且一定要经过大屠杀才能坐得稳，千万记住我这句话。原文是：公当为天下君，必大诛杀而后定，善记鄙言。
杨坚为了自己这副相貌，付出了不少代价。在襁褓里就差点被自己的母亲摔死；长大之后，又受到同僚的嫉妒和皇帝的猜忌，时刻面临被害的危险。这样也就使他不得不把自己隐藏下来。当然，他是相信自己当为天下君。他本是一个颇为迷信的人，又从别人嘴里听到这样的话，对自己的相貌也就信心十足。因为看到杨坚相貌而对他抱有信心的人，不止赵昭一人。在《隋书》中，还有数例可寻。《隋书·庞晃传》中说，杨坚任随州刺史时，路经襄阳，卫王令庞晃拜见杨坚，因为杨坚相貌非常而巴结他，向他表忠心，希望他当了皇帝之后，不要忘记自己。而杨坚听后，只是富有深意地笑着说：不要瞎说呀！杨坚的心思，在这一笑之中昭然若揭了。
赵昭、庞晃，还有郑译、卢贲、窦荣定等人，日后都成为杨坚的亲信和心腹，为他篡夺北周皇位和创立隋朝天下，起了很重要的作用。
只不过杨坚的异相似乎威力不足。中国历史上有几个大统一的短命政权，说开就开，开得光彩四射，灿烂辉煌，可是说完就完，不但快，而且彻底。隋王朝就是其中之一，杨坚辛辛苦苦，努力了一辈子，却不过为唐王朝搭了道桥，而他本人最后也被他亲儿子杨广照肚上一刀，活活捅死，想起来没意思得很。