杨坚是东汉太尉杨震的后代。弘农杨氏世任高官，是汉、魏、北朝至隋唐时期最著名的门阀世族之一。西魏大统三年（公元537年），杨坚的父亲杨忠追随独孤信投靠在西魏专权的宇文泰。因在宇文泰执政和宇文觉建立北周过程中功勋卓著，杨忠被赐姓普六茹氏，位至柱国、大司空，封随国公。
一、扶摇直上野心勃勃
西魏大统七年（公元541年）六月，杨坚出生在冯翊（县治今陕西大荔）般若寺。据说当时寺院内紫气缭绕，祥云笼罩。天明，从外地来一尼姑，声称此儿生来异常，不可以俗儿视之，便把他带到另外的地方抚养。又传说杨坚的相貌像龙，前额有五根柱子直通头顶，眼光外射，手上有像文字的纹理，身材上长下短，面部表情威严庄重，不苟言笑。虽然古史书多载杨坚生来就有天子气象，却不见其青少年时期过人的聪明。依靠家庭背景，杨坚曾在王公贵族子弟的专门学校里念过书。至于学习成绩，从后世多讥讽他不学无术，他也自称不晓书语，大概当时不是好学生。
杨坚从14岁就开始了做官生涯。15岁，依靠父亲的功勋被授予散骑常侍、车骑大将军、仪同三司的荣誉职衔。杨坚很受当时执政者宇文泰的赏识，北周取代西魏后，杨忠为开国功臣，杨坚又升骠骑大将军、加开府。同年，周明帝继位，又封杨坚为大兴郡公。560年，周武帝继位，19岁的杨坚被任命为随州刺史。566年，鲜卑大贵族、柱国大将军独孤信认识到杨坚前途无量，便把自己14岁的七女儿嫁给了杨坚，这更提高了杨坚的地位。568年，杨忠死，杨坚继承了随国公的爵号。577年，北周灭北齐，杨坚立下战功，又进封柱国。第二年，出任定州总管，不久转亳州总管。
杨坚并无突出的功绩，地位却扶摇直上，逐渐引起一些朝臣和贵族的忌恨。北周初年，宇文护专权，多次想除掉杨坚，都因别人的阻拦而没有得逞。周武帝亲政后，宇文宪曾劝他尽早把杨坚除掉，内史王轨也认为杨坚有反相，但都没引起周武帝的重视，且又以杨坚的长女作为皇太子王妃，进一步巩固了杨坚的地位。
同时，杨坚也积极利用已有的社会影响，广泛拉拢群臣，以扩大自己的势力。杨坚在做随州刺史时已与骠骑将军庞晃结为莫逆之交。后来，杨坚做定州总管，庞晃任常山太守，二人交往更密。杨坚将转亳州总管时，庞晃劝他就此起兵，建立帝王之业，杨坚握着庞晃的手说：时机还不成熟啊。至此，杨坚取周自代的愿望溢于言表。
二、诛杀诸王建立新朝
宣政元年（公元578年）六月，武帝死，宣帝继位，以杨坚女为皇后，任杨坚为上柱国、大司马。第二年初，杨坚又转大后丞、右司武，旋升大前疑（相当于丞相）。在宣帝外出时，由杨坚主持日常政务。
周宣帝虽年少，但昏庸荒淫，又修建洛阳宫耗尽民财，致使上下怨愤。杨坚便开始做取代周室的准备工作。有一次，杨坚与好友宇文庆谈论当时形势，表示预感到北周的统治即将结束，对可能出现的动乱局面进行了充分的估计，并已经做好收拾北周局面的思想准备。
杨坚积极为代周做准备，也曾引起周宣帝的警觉，甚至曾想杀掉杨坚。但杨坚始终不动声色，周宣帝既找不到借口，也不愿随便杀死自己的岳父。杨坚尽管表面不露声色，内心对周宣帝的猜疑也感到不安，为逃避周宣帝的猜疑，也为了将来在北周动乱时握有实力，杨坚想暂时离开朝廷，到地方上去掌实权。他把这种想法告诉了自己的同学内史上大夫郑译。大象二年（公元580年）五月，周宣帝决定南伐，郑译乘机推荐杨坚。周宣帝对郑译言无不从，遂任命杨坚为扬州总管。
大军未出，周宣帝病重，召见小御正刘P、御正中大夫颜之仪，准备托以后事。二人到时，周宣帝已不会说话。这时，宣帝的长子宇文衍年方8岁，根本不能真正做皇帝。刘P为以后飞黄腾达，便与郑译商议，共同拟定一个假诏书，声称周宣帝遗嘱，让杨坚以皇太后父亲的身份总揽朝政，辅佐幼主。宣帝死，刘、郑等人暂不公开，首先宣布由杨坚总管中外军事大权。杨坚又以诏书的名义控制了京师卫戍军队，基本控制了朝廷。
3天后，杨坚等人才正式宣布宣帝已死的消息，8岁的周静帝即位，以杨坚为假黄铖、左大丞相，掌握军事、政治全权。但杨坚深知自己的地位还不巩固，于是采取一系列措施增加自己的权威。
首先是建立自己的统治核心。杨坚是在刘P、郑译等人的拥戴下才得以上台的。刘郑二人都想借助杨坚捞到好处，他们建议由杨坚出任大冢宰，郑译要做大司马，刘P想任小冢宰，实际上就是要三人共掌朝政。杨坚不愿让他们分割自己的权力。在亲信李德林的支持下，杨坚拒绝了他们的要求，自任丞相，设丞相府，以郑译为相府长史兼内史上大夫，刘P为相府司马，李德林为府属兼仪同大将军，把他们置于自己的控制之下。杨坚又拉拢真正具备政治才能的高G等一帮人作为自己的亲信。相府实际上已代替朝廷成为真正的决策机构。同时杨坚利用掌握军权的司武上士卢贲，用军队的力量暂时压服了尚未完全清醒过来的朝廷百官。
接着除掉宗室宇文氏的势力。杨坚初执政时，周宣帝的弟弟宇文赞仍以皇叔身份居上柱国、右大丞相职，在朝廷中与杨坚平起平坐。杨坚支使刘P把他劝回家中，不要过问朝政，答应以后由他做皇帝，只须在家里等待。宇文赞年轻无才，信以为真，便高高兴兴回家去了。杨坚排除了近在身边的干扰，但这时真正的威胁是已经成年并各居藩国的宇文泰的5个儿子：赵王宇文招、陈王宇文纯、越王宇文盛、代王宇文达、滕王宇文遒。他们既有实力，又有影响，一旦起兵，杨坚根本无法控制。因此，在还没有公开宣帝的死讯时，杨坚便借口召他们回到长安，收缴了他们的兵权印符。五王与雍州牧毕王宇文贤联系，请他起兵。但宇文贤很快就被杨坚击败。杨坚明知是五王从中捣鬼，却假装不知，并允许他们剑履上殿，入朝不趋，以此安定他们。五王看到外面指望不上，便寻找直接刺杀杨坚的机会。有一天，赵王宇文招借口请杨坚吃饭，安排亲信卫士手持兵器守护左右，并暗伏兵士于后。杨坚到后，所带随从均被挡在外面，只有杨弘与元胄跟进去，并且只准坐在门口。元胄看出势头不对，便说：相府有事，丞相不宜久留。催杨坚赶快脱身，并强行拉杨坚离开座位，赶快出门，护送杨坚回到相府。杨坚赏赐给元胄大笔财富，并以谋反罪杀死宇文招、宇文遒，其他三王也很快被除掉。至此宇文氏的势力基本被消灭。
然后，杨坚宣布废除周宣帝时的严刑峻法，停止洛阳宫的营建，以此取得广泛支持。这样，杨坚在京师的统治已基本稳固。
杨坚以外戚专权，引起北周一些地方势力的不满。杨坚本想寻找种种借口，逐步用自己的亲信去控制地方，把原来的将领召回京师，或杀或用，就可兵不血刃地控制全国局势，但都没有成功。杨坚执政刚一个月，尉迟迥便在相州（今河南安阳）发难，王谦在益州起兵，司马消难在郧州（今湖北安陆）起兵，局势异常严峻。杨坚一方面利用自己已经取得的政治优势拉拢地方将领，对反对者进行分化瓦解；另一方面，投入自己所能控制的全部军队，经过半年的战争，三方武装反抗被全部平定，杨坚控制了北周政局。
从辅政之日起，杨坚要做皇帝已是公开的秘密。在平定三方武装反抗的过程中，杨坚又为铺平做皇帝的道路采取了下列措施：宣布自己由左丞相改任大丞相，废左、右丞相设置，不久改称相国；让自己的长子杨勇出任洛阳总管、东京小冢宰，监督东部地方势力；杨坚由随国公改称随王，以20州为随国，随王位在诸侯王之上；为进一步宣扬自己的家世，追封曾祖杨烈、祖父杨祯、父亲杨忠；为进一步削弱宇文氏的影响，废除所有对汉人的赐姓，令其各复本姓，这一措施得到汉人的普遍拥护。
至580年底，杨坚做皇帝的准备工作已基本完成。581年正月，杨坚派人为周静帝写退位诏书，内容极称杨坚功德，希望杨坚按照舜代尧、曹丕代汉献帝的故事，接受皇帝称号，代周自立。诏书由朝廷大臣捧着到随王府送给杨坚。杨坚假意推辞，经过朝廷百官的再三恳求，杨坚才接受。仪式结束，杨坚穿戴上早已准备好的皇帝服装，在百官簇拥下坐上皇帝的宝座。
杨坚由继承父亲的随国公起家，进称随王，故把自己新王朝的国号定为随。他又感到随字有辶，与走同义，似乎不太吉利，便改随为隋，改元开皇，仍以长安为首都。