隋朝建立初期，是一个百废待兴、百乱待治的局面。隋文帝一登上金銮宝座，就施展他的雄才大略，在多方面进行了一系列重大改革。
修订开皇律
北周的法律既残酷又混乱，“内外恐怖，人不自安” 。在杨坚掌握北周政权时就曾经进行过改革，亲手删定《刑书要制》，但不太彻底。隋朝建立后，开皇元年隋文帝下令命高獾热瞬慰嘉航旧律，制订《开皇律》。开皇三年， 隋文帝又命苏威、牛弘修改新律，删除苛酷条文。《开皇律》将原来的宫刑（破坏生殖器）、车裂（五马分尸）、枭首（砍下头悬挂在旗杆上示众）等残酷刑法予以废除。规定一概不用灭族刑。减去死罪八十一条，流罪一百五十四条，徒、杖等罪千余条，保留了律令五百条。刑罚分为死、流、徒、杖、笞五种。基本上完成了自汉文帝刑制改革以来的刑罚制度改革历程，这就是封建五刑制。
《读通鉴论》这样赞评道:“古肉刑之不复用，汉文之仁也。然汉之刑，多为之制，故五胡以来，兽之食人也得恣其忿惨。至于拓跋、宇文、高氏之世，定死刑以五:曰磬、绞、斩、枭、磔，又有门房之诛焉，皆汉法之不定启之也。政为隋定律，制死刑以二:曰绞、曰斩，改鞭为杖，改杖为笞，非谋反大逆无族刑，垂至于今，所承用者，皆政之制也。”死刑复奏制度是从开皇十五年形成定制的，隋文帝规定凡判处死刑的案件，须经“三奏”才能处决死刑。《隋书 刑法志》:“（开皇）十五年制，死罪者三奏而决。”隋文帝还下诏:“天下死罪，诸州不得便决，皆令大理复治。”《开皇律》对后世律法影响深远，隋文帝修订的法律唐朝都基本上继承了。
确立三省六部制
隋文帝废除不合时宜的北周六官（天、地、春、秋、冬、夏）制，北周的官僚体制基本上是效仿原来西周时期的《周官》即《周礼》的形式，很原始、极混乱。六官制，称谓复杂，职掌不明，办事效率低下。杨坚恢复了汉魏时期的体制，基本上确立了三省六部制度。
杨坚在中央设立三师、三公、五省。三师、三公只是一种荣誉虚衔。掌握政权的是五省，即内侍省、秘书省、门下省、内史省和尚书省。内侍省、秘书省在国家政务中不起重要作用。内侍省是宫廷的宦官机构，管理宫中事务。秘书省掌管书籍历法，事务较少。起作用的是其他三省，内史省、门下省、尚书省都是最高政务机构。内史省负责决策，门下省负责审议，尚书省负责执行。这就是后来被唐朝继承的三省制。
尚书省下设吏、民、礼、兵、刑、工六部。每部设尚书，总管本部政务。具体办事机构就是这是六部:吏部，掌管全国官吏的任免、考核、升降和调动;民部，掌管全国的土地、户籍以及赋税、财政收支;礼部，掌管祭祀、礼仪和对外交往;兵部，掌管全国武官的选拔，和兵籍、军械等;刑部，掌管全国的刑律、断狱;工部，掌管各种工程、工匠、水利、交通等。
开始的时候，六部叫做六曹，即六个办事机构。六部的长官为尚书，六部的设置成为后代封建国家中央政权的固定制度。三省六部制分工明确，组织严密，加强中央集权。对唐及以后历代王朝影响都十分巨大，隋文帝建立的这一整套规模庞大、组织完备的官僚机构，表明封建制度已发展到成熟阶段，自隋定制，一直沿袭到清朝。
简化地方官制
隋初，杨坚在确立了三省六部制的中央机构后，又对地方机构进行了改革。南北朝以来，由于郡县设置过繁，形成了“民少官多，十羊九牧”的局面。隋初沿北齐、北周制设州、郡、县三级地方机构，开皇三年，杨坚从河南道行台兵尚书杨尚希的建议，废郡，改为州、县二级制。州设刺史，县设县令。
公元590年隋文帝杨坚诏府兵入州县户籍，兵农合一始此。杨坚对于地方机构也进行了改革。他采纳度支尚书杨尚希提出的“存要去闲、并大去小”的建议，将原来比较混乱的地方官制从州、郡、县精简为州、县两级，撤消境内500多郡。同时，裁汰了大量的冗官，将一些郡县合并。大大节省了政府的开支，提高了行政效率，也减轻了人民的负担。
为了更好地行使权力，控制地方，杨坚下令，九品以上的官员一律由中央任免。官吏的任用权一概由吏部掌握，禁止地方官就地录用僚佐。而且每年都要由吏部进行考核，以决定奖惩、升降。后来，又实行三年任期制。杨坚简化了地方行政机构，废九品宫人法，初创科举制。隋文帝命令各州每年推选三个文章华美、有才能的人，到中央受官。后来，隋文帝又下令，京官五品以上，地方官部管刺史，要由有德有才的举人担当。这种选拔政府官员的制度，使各个阶层有才华的人都有机会为政府效力。
杨坚开创建立的科举制度，在中国历史上留存长达1300多年，直到清朝末期才废除，但当时的美英等国称奇并借鉴了这种选拔制度作为政府文员的聘用方法。
领均田令
隋文帝杨坚推行均田制，整顿户籍。实行了“大索貌阅法”要求官吏经常检查人口，根据相貌来检查户口，使编户大增。和实行“输籍定样”在第一个的基础上确定户口数，编制“定簿”，以此为依据来收取赋税。开皇三年，清理出阴漏丁男44.3万人 共计164.15万口。高祖令州县大索貌阅，户口不实者，正长远配，而又开相纠之科。大功已下，兼令析籍，各为户头，以防容隐。于是计帐进四十四万三千丁，新附一百六十四万一千五百口。”这些举措防止地方豪强和官僚勾结，营私舞弊。将从豪强手里依附的人口解放出来，增加了国家的劳动力，调动贫苦农民的生产积极性。使国家掌管的纳税人丁数量大增