朱元璋在广纳英才、设立都察、废除丞相三管齐下后，马上走出第四招：设锦衣卫。淮西集团和浙东集团的争斗，以两败俱伤结局收场让朱元璋很是震惊，震惊之余，朱元璋撤销了“罪魁祸首”--“丞相”这一职位和中书省机构，还开始了一项令朝野上下闻之毛骨悚然的新发明创作--锦衣卫。
锦衣卫亦即秘密特务组织及刑狱机构。是啊，身世坎坷的朱元璋生性本就多疑，在贵为人主之后，给朝中大臣们这一搅和，更是缺乏安全感，生怕臣下对自己不忠，更担心千辛万苦得来的江山与荣华富贵会化为乌有，因而他时时处处充满戒备之心，对臣下的一举一动都不放过。他不仅要求大臣们当面对他毕恭毕敬，言听计从，忠贞不贰，就是出朝回府之后的言行也要在他的监视与掌握之中。为此，朱元璋煞费苦心，派出密探四处巡视，保证以最快的速度向他汇报各位大臣的动向。
于是，聪明绝顶的朱元璋决定以锦衣卫来为自己保驾护航。《水东日记》曾记载了这样一件趣事，典型地反映了朱元璋手下密探的厉害：大臣钱宰受命编纂《孟子节文》，连日劳作，自感非常疲倦，一日散朝回到家后诗兴突发，成诗一道云：
四鼓咚咚起着衣，
午门朝见尚嫌迟。
何时得遂田园乐，
睡到人间饭熟时。
这本是一篇信笔之作，诗成之后，钱宰也就宽衣歇息了。没想到第二日上早朝时，朱元璋一见钱宰就笑着说：“昨天爱卿作了一首好诗啊，可是寡人没有嫌你上朝‘迟’呀，是不是用‘忧’字更好一些呢？”这一番话说得钱宰心惊肉跳，连忙磕头谢罪，心中暗自庆幸，多亏昨日还没有胡言乱语，否则今天此头就难保了。
朱元璋如果仅仅派亲信四处刺探臣下的隐私，显然还不足以对朝野构成严重威慑。起初。朱元璋任用的亲信密探名曰“检校”，任务是专门负责侦察探听在京大小衙门官吏不公不法之事，及风闻之事，事无大小，全部上奏。
洪武十五年（公元1382年）四月十六日，著名的皇家特务衙门--锦衣卫正式挂牌。所谓“卫”者，皇帝亲军之谓也，但锦衣卫的使命主要不在于保护皇帝的人身安全，而且专掌不法风闻之事。锦衣卫随驾出行。这些衣着华丽的男人最初只是皇家的仪仗队，日后却慢慢演变为一个令人闻风丧胆的特务机构。
锦衣卫的首领称为指挥使（或指挥同知、指挥佥事），一般由皇帝的亲信武将担任，很少由太监担任。其职能是：“掌直驾侍卫、巡查缉捕。”一个顿号，基本上把锦衣卫分成两个截然不同的部门。负责执掌侍卫、展列仪仗和随同皇帝出巡的锦衣卫，基本上与传统的禁卫军没什么两样，其中比较著名的为“大汉将军”。这些人虽名为“将军”，其实只负责在殿中侍立，传递皇帝的命令，兼做保卫工作，说白了，就是皇宫大殿上的桩子。
当然，这些“桩子”也非等闲之辈，一般都是牛高马大，虎背熊腰，而且中气十足，声音洪亮，从外表上看颇有威严，对不了解明廷底细的人有一定的震慑作用。至于“巡查缉捕”，则是锦衣卫区别于其他各朝禁卫军的特殊之处，也是它为什么能被人们牢牢记住的原因。其实朱元璋建立锦衣卫的初衷也只是用来卤簿仪仗，但后来由于他大肆屠戮功臣，感觉传统的司法机构刑部、大理寺、都察院使用起来不太顺手，于是将锦衣卫的保卫功能提升起来，使其成为皇帝的私人警察。负责侦缉刑事的锦衣卫机构是南北镇抚司，其中北镇抚司专理皇帝钦定的案件，拥有自己的监狱（诏狱），可以自行逮捕、刑讯、处决，不必经过一般司法机构。南北镇抚司下设五个卫所，其统领官称为千户、百户、总旗、小旗，普通军士称为校尉、力士。
校尉和力士在执行缉盗拿奸任务时，被称为“缇骑”（大家对这个名词一定很熟悉）。缇骑的数量，最少时为1000，最多时多达6万之众。锦衣卫官校一般从民间选拔孔武有力、无不良记录的良民入充，之后凭能力和资历逐级升迁。同时，锦衣卫的官职也允许世袭。