古代“学士”这一称谓，最早出现在周代，是指读书的贵族子弟，后来演变成官名和有学问的人及文人学者的泛称。魏晋以后，学士正式成了以文学、技艺供奉朝廷的官员称呼。唐代，学士地位有很大提高，甚至可以参预朝政。
“大学士”之称谓始于唐代，为官职名称。因很多时候大学士一职常常由宰相、尚书、侍郎或军机大臣兼领，所以此时的大学士，其荣誉的象征意义又高于其职务的实际意义。
唐代有修文馆学士、集贤院学士，为掌管文学著作之官，常常以宰相兼领知馆、院事，称“大学士”。宋代沿袭唐代制度，对学士中资历威望高者，授予大学士。明清两朝对大学士一职亦有设置。