北宋王朝建立不久之后的一天，宋太祖与功臣们在御花园饮酒，到酒酣耳热之际，宋太祖突然表示：功臣们手握重兵，难免有一日不会像自己夺北周孤儿寡母天下那样，黄袍加身，夺他赵家的天下。功臣们惊慌失措，跪求可生之途。宋太祖乃道出他的真心话：“汝曹何不释去兵权，择便好田宅市之，为子孙立永久之业，多置歌姬舞女，日饮酒相欢，以终其天年。君臣之间两无猜嫌，上下相安，不亦善乎！”于是重臣宿将纷纷奏称疾病缠身，交出了掌握的军队。这便是历史上著名的“杯酒释兵权”的故事。
宋太祖是在经过天下分崩离析的五代之后建立起赵宋王朝的。他见过诸多武人跋扈割据称雄之事，心中对武人的疑忌，乃是当时现实情况所造成。在这种固有的成见支配下，他削弱武人的权力和地位，是可以理解的明智之举。
但是，凡事过度则废，太祖的侄子侄孙们将其所订的心法不断“发扬光大”，极端强化了封建专制皇权，在皇权的铁腕控制下，行使着重文抑武的政策，武人被排挤到最低限度，不但在中央无权发言，即在地方，也无法主持地方之政。从宋代开始，歧视武职的风气开始弥漫，并深深地植根于中国人的国民性中。
宋代在控制军队、排挤武人上有一整套办法。
宋代实行养兵政策，募人为兵，把社会上的不安定分子全养在国家军队中，变破坏力量为可用力量，以维护封建统治的长治久安。
宋代军队分四种：禁军，厢军，乡军，蕃军。厢军是各州镇兵，乡兵和蕃兵由壮丁组成，分别在内地和边区维护治安，犹如乡村警察一般。
宋代军队的主体构成是禁军，大都驻防京师。由“三衙”——殿前司、侍卫马军司、侍卫步军司统辖。长官分别称为殿前都指挥使，侍卫马(步)军都指挥使，还有副都指挥使及都虞候等职。五代北周还设有都点检一职，位在都指挥使之上。赵匡胤即任过此职，他夺权即位后，此职不复置了。这些官员负责禁兵平时的训练和管理。
一旦有战事发生，三衙无权擅自调动军队，调动军队的虎符掌握在枢密院长官手中，由皇帝临时委派将领，统率临时由枢密院调拨的兵士奔赴疆场。杨家将故事中有一段说杨六郎奉圣旨去镇守三关，而潘仁美却通过关节，拨给他一些老弱兵卒。这反映了当时军训和军令两权分离的实际情形。
另外，出驻外地的部分禁军则采用“更戍法”。驻防边地的称“驻泊军”，由兵马都总管统辖。内地的称“屯驻军”，由兵马钤辖、都监统领。更戍法规定；兵士定期轮换驻防，以期造成将不知兵，兵不识将，兵将脱离的状况，防止中唐以来藩镇割据局面的重演。