府兵制，是西魏大统年间，在权臣宇文泰主持下创设的。它是以府为基本单位征调民户当兵的制度。府兵不负担其它赋役，亦不从事农业生产，世代为兵。当时共有百府。
府兵制的组织建制为：府置郎将，统领兵士，分属二十四军，军由开府统领，分属十二大将军，分番轮流宿卫京城。十二大将军分属六柱国，六柱国统于宇文泰一人。宇文泰本人和西魏宗室元欣也列名为柱国，但元欣并无统兵之权，故当时名义上有八个柱国。
这些柱国，是关陇军事贵族的主体构成，后来反隋的大贵族李密的曾祖李弼、建唐的李渊之祖父李虎，都委身于柱国之列呢。
隋唐之时，府兵制在全国范围内推广。当时置有六百多个折冲府，以府为单位把均田制下的农民组织为府兵制下的兵士。实行的是兵农合一制，府兵平时务农，战时出征。府设折冲都尉与左、右果毅都尉统率士兵，府的属官有长史，兵曹、别将等。府下设团，团有校尉，团下有旅，旅有旅帅，旅下有队，队有队正，队分为火，火有火长。
唐代的六百多个府分属中央十六卫：左右卫、左右骁卫，左右武卫、左右威卫，左右领军卫、左右金吾卫，左右监门卫，左右千牛卫。卫设上将军一、大将军一，将军二，统率府兵轮番宿卫京师，碰到战事，则由皇帝临时委派大将统一指挥。
玄宗时，随着均田制的破坏，农民们失去了土地，无力负担充当府兵的军备费用，纷纷离乡出逃。国家征不到人当兵，府兵制实在难以维持了，于是改行募兵制，组织职业军队，一入军营，终身为兵，不得逃逸。
从此，中国历史上的府兵制度就被淘汰了，取而代之的是募兵制。