（一）恢复旧姓与整顿乡兵
1、恢复旧姓
在北周宇文泰时期，为了加强控制军队，就利用了鲜卑的血缘关系，让带兵将领改姓鲜卑姓氏，所统军人也跟着其将官改从其姓。杨坚在掌握北周朝政后，就下令 诸改姓者，悉宜复旧 ②，恢复了汉族的社会地位，进一步清除了私兵、部曲的遗痕。事实上，经过北周屡次加强对军队的控制，改变了六柱国统领系统，官号与实职已经脱节，将帅由皇帝临时加以更换，军士改从其将姓的制度也无法实施下去了。杨坚恢复旧姓的措施，赢得了汉人的支持和同情，并且利用天命、神征等，把这件事与夺取北周天下联系起来，为他的代周在军中铺平了道路。
2、整顿乡兵
隋灭陈之前，又出现了乡兵。乡兵是以乡里的大族及其笼络、胁持下的宾客、农民组成的，既具乡土色彩，又有宗族色彩。这些乡兵流动于北自淮阴，南至广陵的战争冲要地带，其活动的时间在北周平北齐到隋平陈这段时期。领兵的军将都是地方雄豪。对这些乡兵，隋文帝采取了将乡兵纳入府兵系统，进而逐渐使它由地方部队变为中央直属部队的措施。这些乡兵首领被任命为大都督、仪同、车骑将军、骠骑将军，成了府兵系统中的将帅。乡兵纳入府兵系统后，将帅中的雄豪，虽在乡里有其势力，但在一定条件下却倾向于统一的皇朝。当然，隋初的整顿乡兵仍属局部的短时间的措施，宇文泰时期的乡兵也仍大量存在着，私兵势力的彻底消除，尚有待时日。隋代府兵仍然带有宗族和部曲的色彩，如蒲州还有所谓 宗团骠骑。①
3、军户入籍
隋以前的府兵，军士与其家属有单独的军籍，与地方政府无关，他们是世袭的职业军人。军人军户集中居住在军府所在的军坊、乡团，随时调动，居无定处。隋统一中国以后，战争大为减少，不再需要这样一支既有军士，又有其家属及军户的庞大队伍。同时，为了加强政府对民户的控制，有必要将家属、军户纳入政府统一管理。虽然如此，又不能解散军队或大幅度裁减军队。于是在开皇十年（公元590年），将军人编入民籍，使兵民合一，解决了上述问题。
军人编入民户后， 垦田籍帐，一与民同 ②，军人可按均田法令分到自己的一份耕地，并可免除租庸调的负担。但军人的资粮需其自己负担，平时无战事或轮不到自己上番宿卫时，就在家务农，有事则应召出征。府兵是终身兵役，一旦被征入伍，即须到60岁时才可退伍。兵源也由军户承担改为从民户中简点。
①此章参谷霁光《府兵制度考释》，上海人民出版社1962年版。
②《隋书》卷1《高祖本纪》。
①参《隋书》卷46《杨尚希传》。
②《隋书》卷1《高祖本纪》。
（二）卫府制度的形成
1、十二卫建置
隋开皇中以左右卫府、左右武卫府、左右武候府、左右领左右府、左右监门府、左右领军府等十二府统领禁卫兵，合为十二军。左右卫掌宫掖禁御，督摄仗卫，下有直x、直寝、直斋、直后等并掌宿卫侍从；又各统亲卫，分置骠骑府、车骑府，以领内军宿卫。左右武卫领外军宿卫、左右武候掌车驾护从、道路营禁。左右领左右府（也叫左右领），掌侍从左右、供御兵仗，有千牛备身、备身左右之属。左右监门掌宫殿门禁及守卫事宜。左右领军掌十二军籍帐、差科、辞讼。另外，还有太子的东宫十率，即左右卫率、左右宗卫率、左右虞候率、左右内率、左右监门率，与十二卫相应而设，但在国家兵制中，它只是一种陪衬，不占重要地位。
十二府来源于西魏、北周的禁兵系统和府兵系统，是两种禁卫军队的综合组织。但十二府中仍存在着中外宿卫或内外宿卫的区别。左右卫中的直寝、直斋及亲卫，左右领中的千牛备身、备身左右、左右武候分任扈从，主要为内卫。内卫不断扩大，增立名目，开皇十八年（598年）于左右领之外置备身府，内卫自身及内外卫都彼此牵制。
府兵小部分属内卫，大部分属外卫，因内外卫的不同，府兵又分作内军与外军。左右卫所领亲卫、勋卫、翊卫，称为三卫，它们各有骠骑府、车骑府，是为内军。十二府所领其他骠骑府，车骑府为外军，即三卫为内卫，其他外军为外卫。
卫府制度的建立，使不同类型的禁卫结合在十二府中，十二府又相互区别、相互统一于禁卫。至此府兵通称为禁卫兵，或称为侍官。
2、军将名位与实权
十二府各有大将军1人，将军2人，十二府大将军直属皇帝，其下直辖各车骑、骠骑府。十二府大将军的地位职责是由柱国大将军、大将军演变而来，骠骑、车骑则由开府、仪同演变而来。但北周的柱国大将军和大将军都是正九命（相当于正一品），而隋十二府大将军则降为正三品。北周的开府、仪同是九命（从一品），到隋的骠骑、车骑分别降为正四品、正五品。北周的柱国大将军、大将军共18人，隋十二府大将军12人，加上副职近30人。
北周开府、仪同至多不过百人，隋的骠骑、车骑就增加了很多。这说明军将增加了，地位降低了，权力分散了，皇帝对军队的控制也就更为有力了。
骠骑府的长官为骠骑将军，车骑将军为之副贰，有时也设置与骠骑府平行的车骑府，车骑即为其长官。隋的骠骑、车骑府分布在京城以及地方上的冲要地带，虽有因地立名的，但主要仍以十二府所属一、二、三、四等数目序号来排列。骠骑、车骑之下，有大都督、帅都督、都督领兵，其下尚有更低级的如幢主、军主、统军等官职。