杨坚登上帝祚不久，大杀周朝宗室文帝子孙25家，闵帝子孙及明帝子孙6家，武帝子孙12家。宇文的儿子宇文衍禅位后即被杀，时年9岁;宇文另外两个幼子还在怀抱之中，为斩草除根，也被杨坚诛杀。其余宇文宗室疏属，几乎为杨坚诛杀无遗，成千上万的凤子龙孙均于一年多内惨遭屠戮。开皇六年，又把三个老朋友刘P、梁士彦、宇文忻一并杀掉，殃及其子辈。这些巩固帝祚的血腥屠杀，使得杨坚给后人留下了一个“沉猜阴狠”的印象。
其实，对于一个帝王来说，夺天下只是基业常青的第一步，如何治理天下才是最为关键的。在治理天下上，杨坚为之献出了他的余生，可算是一位有为之君。
《尸子》曰:“德者，天地万物得也;义者，天地万物宜也;礼者，天地万物体也。使天地万物皆得其宜、当其体者，谓之大仁。”德义礼兼备，就是大仁。
杨坚对平民百姓实行宽仁的政策。即位当天，悉除北周苛政，大赦天下。长安城内万民欢呼雀跃，新贵名流欣喜若狂。长安东西两市一百一十坊，四面立邸，夜不闭户，彩光缤纷，载笑载乐，共庆隋皇朝之兴。
北周的法律既残酷又混乱，“内外恐怖，人不自安”。在他的直接组织下，著名的《开皇律》诞生了。《开皇律》是在北魏北齐的刑律基础上，废除了许多酷法，减轻、剪裁了一些刑律删修而成的。律法明晰，比北朝先前的朝代宽明许多，并取消了枭首、车裂等酷刑（后来又被炀帝恢复）。其中有冤可以逐级上诉，直至皇帝亲自处理这项规定，是以前各代所没有的。日后著名的《唐律》，基本脱胎于《开皇律》。清初著名思想家王夫之对此大加赞赏，“今之律，其大略皆隋裴政之所定也。（裴）政之泽远矣，千余年间，非无暴君酷吏，而不能逞其淫虐者，法定故也”。隋文帝统一了币制，废除其他比较混乱的古币以及私人铸造的钱币，改铸五铢钱。度量衡在隋文帝时重新统一。
杨坚特别注重奖廉惩贪。据史载，岐州刺史梁彦光治理本州“甚有惠政”。杨坚到岐州视察，对他的政绩十分满意，当即下诏予以嘉奖，并号召各地官员向他学习。汴州刺史樊叔略，由于在任内“甚有声誉”，遂升迁为相州刺史。在相州任上，他每当考核时，又都被评为政绩第一。杨坚非常高兴，也对他亲下玺书嘉奖，赐物300段，粟500石，颁示天下。赵轨任齐州别驾时，在职4年，“考绩连最”，杨坚又嘉奖他物300段，米300石，随后召入朝廷任职。当他离升齐州时，父老乡亲挥泪相送，纷纷说：“别驾在此任官，从不收受贿赂，犹如水火不相交，所以我们不敢以壶酒相送。您清廉若水，请饮一杯清水为您饯行。”赵轨双手接过那杯水，一饮而尽。杨坚闻听此事，又先后提升赵轨为硖州刺史、寿州总管长史，将他树为全国官吏学习的榜样。
相反，对贪官污吏，杨坚则严惩不贷，毫不手软。杨坚的第3子、秦王杨俊，曾在灭陈战争中立过大功，颇受文武百官的敬仰，也深得杨坚的宠爱。后来却“渐奢侈，违犯制度，出钱求息，民吏苦之”。杨坚获悉此情，立即派人查办，杨俊不思悔改，仍旧我行我素。杨坚极为愤慨，毅然罢了他的官，将他禁闭起来。有人为杨俊求情，杨坚坚决表示：“法不可违！”还说：“以周公之为人，尚诛管、蔡，我诚不及周公远矣，安能亏法乎？”杨俊临终前遣使奉表向父皇谢罪，杨坚还是不宽宥，对使者说：“我戮力关塞，创兹大业，作训垂范，庶臣下守之而不失，汝为我子而欲败之，不知何以责汝！”杨俊既惭愧又畏惧，致使病情日益加重。开皇二十年，病死于秦邸。
独孤皇后有位姑表兄弟，名叫崔长仁，官任大都督。他依仗自己和独孤皇后的关系，经常搜刮民财，索贿受贿，还逼死了7位年轻貌美的女子。杨坚闻报，遂将崔长仁判了死刑。
杨俊、崔长仁的下场，大大震慑了朝廷内外所有官吏。于是，贪污案件急剧下降，廉洁风气日趋浓厚。
杨坚还很崇尚节俭，他曾教训太子杨勇说：“自古以来的帝王，如果奢侈就一定不能长久，你一定要厉行节俭。”
开皇初有户三百六十余万，平陈得五十万，后增至八百七十万。隋文帝大行节俭之风，提倡储粮备灾，积谷防饥，故广设仓库，分官仓、义仓。官仓作粮食转运、储积用，义仓则备救济之需。隋朝的官仓、义仓储积粟帛为历朝之最，“资储遍于天下”，能供五、六十年之需。经过隋末天灾人祸，唐朝立国二十年后，隋朝在各地的库储尚未完全用尽，可以想见其数量的骇人之巨。义仓制度后世王朝都跟着实行。
“七德既敷，九歌已洽，要荒咸暨，尉候无警。于是躬节俭，平徭赋，仓廪实，法令行，君子咸乐其生，小人各安其业，强无凌弱，众不暴寡，人物殷阜，朝野欢娱。二十年间，天下无事，区宇之内晏如也。考之先王，足以参踪盛烈。”这就是隋书里的“开皇之治”。
杨坚所兴隋帝国是经济最富庶的朝代之一，仅凭开皇之治就足以彪炳千秋，名传万载。于历史而言，杨坚堪称“大仁”之帝。