正如中书省是全国的最高行政机构，行中书省则是个地方的最高行政机构。在习惯上行中书省则被称为行省。在设立尚书省主持政务期间，又改称为 行尚书省 ，简称 省 。
大体上行省的设立过程是这样的。1260年5月，也就是在忽必烈设立中书省一个月后，随即设置了十路宣抚司， 以总天下之政 。这十路分别是：燕京路、 益都济南等路、河南路、北京等路、平阳太原路、真定路、东平路、大名彰德等路、西京路、陕西四川等路。每司分领一路或数路，派藩府旧臣出任宣抚使、副，作 为朝廷的特命使臣，监督和处理地方政务。但宣抚司无处置军务的权力，使、副又多数没有宰臣职衔，如果发生叛乱或社会治安等方面的特殊情况就不足以应付了。 于是忽必烈把一些地区改置行中书省。1261年11月，忽必烈撤销了十路宣抚司。在第二年的12月，重新设立十路宣抚司，但将它作为中书省的派出机构。
忽必烈在外路设立的第一个行中书省是陕西四川行省（京兆行省）。陕西四川行省设立在阿里不哥叛乱时期。1260年，京兆宣抚使廉希宪到任时，为防止阿里 不哥已派来的亲信大臣刘太平联络六盘山及四川蒙古军帅，占据京兆地区。廉希宪果断地捕杀了刘太平等人，征调秦、巩等处诸军进入六盘，发仓库金银充军赏，同 时遣使入奏，自劾越权的罪过。忽必烈没有责怪他，因为这是他建立的制度存在缺陷而造成的。所以在这件事后，他赞赏廉希宪善于行权应变。这一年的8月，忽必 烈将京兆宣抚司改置为行省，即陕西四川行省，以廉希宪为中书右丞，行行省事。这以后，忽必烈又在其他地区先后设立了行省。由于种种原因，几经置废分合，最 后稳定为十个行中书省，分统除中书省直辖诸路以外的各大地区，形成了 都省握天下之机，十省分天下之治 的行政区划格局。吐蕃地区直属中央机构宣政院统 辖，所以不置行省机构，但也被视为一个行省。这样，元朝全境共划分为十二个一级政区，即中书省直辖、十行省及吐蕃。在1286年以前，行省仍属于中书省的 临时派出机构。直到1290年，忽必烈在晚年再次调整了行省建制。他将山东、山西、河北等地直接划归中书省管辖，称为 腹里 。腹里以外的地区则分置岭 北、辽阳、河南、陕西、四川、甘肃、大理、江浙、江西、湖广十个行省。自该年始，行省各长官不再是中书省衔。这样行省就成为了最高地方行政机关。不过吐蕃 和畏兀儿地区另立管辖机构，不在这一范围之内。
在元代，中书省与行省以下的行政区，划分为路、府、州、县四级。路设总管府，置达鲁花 赤、总管、同知各一员。一般州、县归路管辖，县由州管辖。府的地位有些不同，有的直接归省管辖，有的归路来管理。不过具体的管辖归属要看具体情况。而路、 府、州、县按人口的多寡，地域的广狭，又分为上、中、下三等。距离行省机构远的地区，元朝则设置宣慰司，作为省的派出机构。宣慰使依旧没有军权。在边境地 区，元朝则置宣慰司都元帅府，使宣慰使皆兼帅权。在宣慰司下，还设有宣抚司、安抚司、招讨司、长官司等。这些地区的官吏多用当地土官。
元朝时期，县以下，坊里制与社制并存。坊是指隅和坊，都是城市的基层组织，设有隅正、坊正来管理日常事物。在乡村地区的基层组织机构则分为乡和都两级， 有的地区仅有乡或都一级。在乡设里正，在都设主首，用来管理乡都事务。除此以外，1270年，忽必烈又颁行了 农桑之制14条 ，规定在农村普遍推行社 制，以50家立1社，选择年长通晓农事的人为社长。设立社的目的是为劝导农业、维护乡村秩序。社制在部分城市中也得以推行。