Первоначально Департамент состоял из трех делопроизводств: 1-е и 2-е делопроизводства занимались общеполицейскими делами, 3-е делопроизводство считалось политическим. В 1883 г. были созданы 4-е и 5-е делопроизводства, в 1894 г. — 6-е, в 1902 г. — 7-е, в 1908 г. — 8-е и в 1914 г. — 9-е. Важнейшим структурным подразделением Департамента полиции был Особый отдел. Сначала он существовал в рамках 3-го делопроизводства, а в 1898 г. окончательно обособился. В нем сосредоточивались дела о государственных преступлениях. Кроме Особого отдела политическими делами занимались 5-е и 7-е делопроизводства, которые в 1905 г. были на непродолжительное время объединены в «политическую часть» Департамента во главе с П.И. Рачковским.
Особый отдел пережил несколько реорганизаций. Сначала отдел был разбит на шесть столов, потом их сменили четыре отделения. 1-е отделение занималось наружным наблюдением, дешифровкой, работой с химическими текстами, 2-е отделение ведало связью с заграничной агентурой, 3-е — наблюдением за общественным движением и учебными заведениями, 4-е — делами, связанными с иностранным шпионажем и государственной изменой. После очередной реорганизации отдел был разбит на две части — А и Б; затем вернулись к прежней разбивке на отделения, но теперь в связи с активизацией деятельности нелегальных партий каждое отделение вело наблюдение за определенными организациями. Например, 2-е отделение занималось эсерами, 3-е — социал-демократами и еврейскими революционными партиями, 4-е — рабочими союзами и национальными партиями. В распоряжении Департамента имелись библиотека революционных изданий и регистрационный отдел с центральным справочным аппаратом.
Практически неизменной с 60-х годов XIX в. оставалась структура корпуса жандармов. Офицеры и унтер-офицеры состояли на воинской службе, корпус финансировался из бюджета Военного министерства. И хотя армия не имела никакого отношения к корпусу жандармов, многократные попытки Военного министерства избавиться от этой обузы не увенчались успехом.
Как и раньше, корпус находился в двойном подчинении. Министр внутренних дел унаследовал от начальника Третьего отделения звание шефа жандармов. Товарищ министра, заведовавший полицией, являлся, как правило, командиром корпуса. По строевой, кадровой, хозяйственной линии жандармы были подчинены штабу корпуса. Но их основная деятельность осуществлялась под контролем Департамента полиции и его штатских чиновников. Обычно директора Департамента жаловались, что им трудно добиться безусловной дисциплины, так как они не имеют реальных рычагов воздействия на жандармов — присвоение офицерских званий, продвижение по службе, размер жалованья зависели не от Департамента, а от штаба корпуса.
В отличие от армейских соединений корпус жандармов был дислоцирован по всей территории империи. После реформ П.А. Шувалова основным структурным подразделением корпуса стали губернские (или областные) жандармские управления. Округа сохранились только на национальных окраинах. Начальниками, как правило, были генералы или полковники. Подполковники и ротмистры обычно состояли помощниками начальников губернских управлений по определенным уездам или городам. В 1861 г. появилось первое жандармское полицейское управление железной дороги, а к 1895 г. количество таких управлений увеличилось до 21. Жандармские управления железных дорог имели отделения на всех узловых станциях. В крупных городах были размещены жандармские дивизионы, которые несли обычную полицейскую службу. Общая численность жандармского корпуса в 1917 г. составляла 15 712 человек.
Согласно Положению о корпусе жандармов, разработанному в 1867 г., офицеры должны были иметь как минимум среднее образование и прослужить в войсках не менее 5 лет. Не допускались к переводу в корпус «бывшие в штрафах по суду и следствию и имеющие денежные долги». Когда открывались вакансии, офицеры приглашались на подготовительные курсы. В течение 3–6 месяцев на курсах при штабе корпуса изучались история и устройство корпуса, теория розыска, давалось общее представление о революционном движении. Впоследствии при Департаменте полиции были открыты повторные курсы для старших офицеров, где преподавались специальные предметы: антропометрия, дактилоскопия, дешифровальное мастерство и т. п.