秦始皇二十六年（公元前221年），丞相王绾请封诸皇子为燕、齐、楚王，得到群臣的赞同，廷尉李斯力排众议，主张废除分封诸侯的制度，全面推行郡县制度。
秦始皇接受了李斯的建议，把全国分成三十六郡，以后又陆续增设至四十余郡，皇室任免郡县的主要官吏，这些郡完全由中央和皇帝控制，是中央政府辖下的地方行政单位，中央集权的制度从此确立。
秦始皇二十八年（公元前219年）的峄山刻石辞说：“追念乱世，分土建邦，以开争理”;“乃今皇家，壹家天下，兵不复起”，这说明秦始皇认为废分封行郡县是消除各地兵争所必须的。
郡，是中央政府辖下的地方行政单位，其组织机构与中央政府略同，设郡守、郡尉、郡监（监御史），郡守，为一郡最高行政长官，掌全郡政务，直接受中央政府节制;郡尉，辅佐郡守，掌管全郡军事;郡监，掌监察工作。
郡以下设县或道，县是秦朝统治机构中关键的一级组织，是从中央到地方政府机构中具有相对独立性的一个单位，内地设县，边地少数民族地区设道，满万户以上的县设县令，不满万户的设县长，令、长为一县之首，掌全县政务，受郡守节制。
县令下设尉、丞。尉，掌全县军事和治安;丞，为县令或县长的助手，掌全县司法。
郡、县主要官吏由中央任免。
县以下设乡、里和亭，乡和里是行政机构，亭为治安组织，乡设三老、啬夫和游徼，三老掌教化，啬夫掌诉讼和税收，游徼掌治安，乡以下为里，是秦国最基层的行政单位，里设里正或里典，后代称里正、里魁，以“豪帅”即强有力者为之，其职能除与乡政权职能大体相同外，还有组织生产的任务。
此外，还有司治安、禁盗贼的专门机构，叫做亭，亭有长，秦规定，两亭之间相隔十里，设亭长，亭遍布于城乡各要地。
秦朝创下的一套中央集权国家政治制度在以后中国社会的历史中，为了巩固统治，只有修修补补，基本框架不变。