御史大夫秦始皇时开始设置，秦汉时是仅次于丞相的中央最高长官。
主要职务为监察、执法及掌管重要文书图籍，可以称为朝廷的监察长和秘书长。
汉代丞相缺位时，往往以御史大夫递补，与丞相、太尉合称三公。皇帝诏命多由御史大夫下达。
西汉哀帝元寿二年（公元前1年）御史大夫改名为大司空。
晋以后多不设置。
隋唐时虽然恢复设置，但与汉代不同，御史大夫只是专管监察、执法，为御史台的长官。
而唐以后的御史大夫名虽尊崇，实则权位已轻，到了宋代，只作为加官，金、元时徒有虚名。
明初改御史台为都察院，御史大夫之名也被废除。