在周王朝，辅佐周王处理政事的官员，称作太师，太傅，太保，号为三公：太师负责向周王传授知识，类似于教师，太傅督导王的行动，太保负责王的身体健康。
秦始皇建立封建一统大帝国时，他自以为雄才大略，无须人训导，因而不立师保之官，而以丞相，太尉、御史大夫为三公；这三者分握国家行政权、军权、监察权。汉承秦制，唯握军权的太尉不常置。
汉武帝为了褒崇他小舅子卫青打匈奴的功劳，挖空心思，创设大司马。大将军一职，以赐卫青。此职在西汉朝廷中十分尊贵，往往以皇上嫡亲的外戚担任。汉武帝死后，他的小儿子弗陵即位为昭帝，以外戚霍光为大司马、大将军总统朝政，辅助昭帝。昭帝十分信任霍光，把一切权力都交托给他，霍光位高权重，俨然如‘代皇帝’。有一次丞相未经他的同意，独自召开公卿会议，这本是丞相分内之事，霍光却因此要将丞相治罪，可见大司马，大将军一职在那时真是八面威风，怪不得宣帝见到霍光，就有芒刺在背，坐立不安的感觉了。幸好后来废大将军不置，列大司马为三公之一，才使得皇帝的心神宁定下来。
学者们认为，古之三公，系指司徒，司马、司空。西汉末年社会矛盾尖锐，社会动荡不安，汉廷要按旧的一套来进行统治已难以维持封建秩序，于是在官制上便有一番改动。丞相易名大司徒，御史大夫易名大司空，加置大司马，号称三公。这套西汉末年几经变动而终究确立的体制被东汉继承，唯因光武帝刘秀曾任大司马一职，因改称太尉，余二者去“大”字，为司徒、司空而已。
按着政府规定，三公事无不管，是政府最高权力机构，九卿等行政部门统为其所辖。三公本人可参与各种国家大事，是皇帝的高级顾问。然而，实际上，从刘秀开始的东汉诸帝，无不着意于防范强臣专权，大力限制三公的权力，而以自己直接控制的尚书台代理政务，于是就形成了“虽置三公，事归台阁”的局面。
三公事权虽削，声名犹在，仪制上仍待遇甚隆。当时规定朝臣见三公皆拜，三公入见天子，天子御座为起，在舆为下。正因如此，东汉还规定，若天降灾难，则罢免三公以应之，把招致天灾的责任推在三公身上，让他们去当因政府失策而承担天谴的替罪羊。
东汉三公不领兵，无军权。若领兵入觐，皆须在两列卫士的交叉刀戟之下，由执刃虎贲挟持而见。《三国演义》中就有过这么一段故事，讲曹操曾以司空之职去觐见汉帝，在交叉的刀戟之下钻过一回，当时便吓得汗流浃背，从此再不朝觐了。