乌纱最早见于东晋，但那时乌纱并非官员所有，不管身份高低贵贱臣民皆可戴。
作为官帽的乌纱帽据考证是始于明代。洪武三年(1370)，明政府规定，凡文武官员入朝，都要戴纱帽，穿团领衫，束腰带。有功名但未授官的状元、进士和“致仕”的官员，也可带纱帽。
到明世宗时，人们开始将纱帽称为“乌纱帽”，并成为专门的官帽，但帽的双翅也有了一些改变，不但帽翅的长度缩短了，其宽窄也不相同，官阶越高，纱帽的双翅越窄，反之双翅越宽。
我们今天在戏剧舞台上所见到的乌纱帽，大约形成于宋代。据说宋太祖赵匡胤黄袍加身后，为防止大臣们在朝廷上交头接耳，便下诏书改变乌纱帽的样式，在两边各加一个翅，并装饰不同的花纹，以区别官位的大小。
清顺治帝入关时，一些明代降臣仍戴乌纱帽，等到清廷统治巩固下来，才下令将乌纱帽改为红缨帽。但人们仍习惯使用乌纱帽一词，久而久之，乌纱帽成为官位的代称，丢掉乌纱就意味着被免职了。