在我国遥远的战国年代，御史就开始承担监察之任了，秦汉王朝都以御史之长御史大夫为封建国家与丞相、太尉并列的三巨头之一。汉朝时，御史在御史大夫领导下，分成两部分：一留在大夫官署，协助大夫办理公事；一进入宫中，由御史中丞率领，在皇帝身边，担负起监察朝廷百官的责任。
至东汉王朝，御史大夫改称司空，并无实权，御史中丞就独立出来，成立御史台，单独负起监察之责，尽管其组织关系转隶少府，实际上却是一个自行其事的独立机构。
监察机构的独立，是监察官制完善化的一个进程。由于御史有监督官纪，维护皇权独尊的显著作用，此后历代封建君主都十分重视加强御史的监察职能。魏晋南朝时期做官的多是士族高门出身，因而规定：御史中丞一职不得由高门子弟担任，以防互相包庇；同气流瀣。另外还允许中丞可以风闻奏事，意思就是，单凭道听途说，就可提出弹劾，说错了不负诬陷之罪。
相反，若未及时纠察，就要被罢官，说穿了就是要鼓励御史信口雌黄，以儆戒百官。在这样的鼓励下，御史们就只好借他人的乌纱来保自己的法冠了。
隋唐时期，封建监察制度走向成熟，法网更为严密。御史台以御史大夫为台长，中丞(隋避杨忠讳，称治书侍御史)为辅。阴阳五行说以为监察司法机关主阴，北方为阴，所以唐代御史台的大门向北而开。在这阴森森的鬼地方，不知坑害了多少无辜良民，但它也确曾惩办过一些贪猾残暴的官吏和土豪，起过一些好的作用。
宋大体沿用唐制，所不同的是，宋监察御史，只能分察尚书六部，而不能出巡地方。此外，宋代专置谏院，成立了专门谏诤的机构。院中设有知院官。元丰改制时废，复置左右谏议大夫、左右司谏(相当唐代的拾遗)，左右正言(相当唐代的补阙)，分属中书、门下二省，专供规谏。但宋代的谏诤不象唐代那样是以君主为谏诤对象，而是以监察臣僚为己任，这也体现了宋代专制皇权的空前强化。。
明、清两代的监察机关称都察院，主纠察内外有司之官，为天子耳目风纪之司，可随意弹劾官吏，诬陷同僚。都察院还负有司法责任，碰到重大案件，由都察院会同刑部、大理寺共审，这就是所谓的“三法司。
中国古代的监察机关，直接听从皇帝指挥，监督各级官吏，确实起到过一些澄清吏治的好作用，御史们的铁面无私，多多少少地保证了并不公正的封建法治的“公正”施行，铁面御史的称号得以广泛流传，并不是没有道理的。