Создание Третьего отделения означало восстановление принципа централизации. Но реорганизация политического розыска шла дальше простого возвращения к опыту Тайной канцелярии. Коренное отличие Третьего отделения от предшествующих учреждений заключалось в том, что в помощь ему были созданы местные органы политического розыска. Раньше всем этим (в числе прочих дел) занималась местная военная или гражданская администрация. Теперь же наметилась дальнейшая специализация. Задачи политического розыска были возложены на жандармов.
Слово «жандармерия» прижилось в русском языке в качестве синонима тайной политической полиции. Но в первое время оно не имело негативного оттенка. Жандармы были ровесниками Французской революции и наполеоновских войн. Впервые они появились во Франции в 1791 г., а через год это новшество было воспринято в России. В гатчинских войсках Павла, тогда еще наследника престола, была учреждена воинская команда, называвшаяся то жандармским, то кирасирским полком. В 1796 г. эта часть была включена в лейб-гвардии Конный полк.
Название «жандармы» вновь появилось в русской армии во время Заграничного похода. В июле 1815 г., сообщает официальная история Министерства внутренних дел, «главнокомандующий Барклай-де-Толли предписал избрать каждому кавалерийскому полку по одному благонадежному офицеру и по пять рядовых, на коих возложить наблюдение за порядком на бивуаках и кантонир-квартирах, отвод раненых во время сражений на перевязочные пункты, поимку мародеров и т. п.»
С тех пор жандармы существовали постоянно, хотя их организация претерпела изменения. Еще в Заграничном походе отдельные жандармские команды, находившиеся в распоряжении корпусных командиров, были уничтожены. Полицейская служба при войсках была возложена на Борисоглебский драгунский полк, переименованный в жандармский. Другим источником пополнения жандармов стал корпус внутренней стражи, созданный в 1810 г. для обучения рекрутов и содействия гражданским властям при поимке разбойников, подавления неповиновения, сбора недоимок и т. п. Корпус был раздроблен на полицейские драгунские команды, подчинявшиеся губернаторам. В 1817 г. в составе корпуса были сформированы жандармские части, распределенные по столицам, губернским городам, портам. Всего к 1826 г. насчитывалось около 60 жандармских подразделений.
На эти части и подразделения, представлявшие собой уже готовую разветвленную сеть, обратил внимание Бенкендорф. В своем проекте он предлагал подчинить эти силы начальнику «высшей полиции». «К этому начальнику, — писал Бенкендорф, подразумевая самого себя, — стекались бы сведения от всех жандармов, рассеянных во всех городах России и во всех частях войск». Николаю I, военному до мозга костей, импонировал двойной, военно-полицейский характер жандармов. С его точки зрения, «высшая полиция» должна была состоять не из гражданских чиновников, а из офицеров.
Почти одновременно с назначением главным начальником Третьего отделения Бенкендорф был сделан шефом жандармов. Но превращение жандармов в тайную полицию произошло не сразу. На первых порах должность шефа жандармов имела скорее почетное, чем реальное значение. Жандармы оставались в прежнем подчинении, а Бенкендорф играл роль инспектора. В апреле 1827 г. был принят царский указ о создании корпуса жандармов (впоследствии он стал именоваться Отдельным корпусом жандармов). Но только в 1836 г. жандармские команды были окончательно выведены из состава внутренней стражи. Борисоглебский полк был передан Бенкендорфу в 1842 г., а некоторые жандармские команды навсегда остались в гвардии. В течение длительного периода единственным связующим звеном между группой чиновников на Фонтанке и жандармскими частями по всей России был сам Бенкендорф, совмещавший две должности. Но постепенно эта связь становилась все более прочной. Жандармские части превратились в исполнительные органы Третьего отделения. Впрочем, само Третье отделение в известной степени было поглощено жандармерией. Первые управляющие Третьим отделением — М.Я. фон Фок (1826–1831 гг.) и А.Н. Мордвинов (1831–1839 гг.) — были гражданскими чиновниками. В 1839 г. пост управляющего был совмещен с должностью начальника штаба жандармов.
За годы своего существования корпус жандармов пережил несколько реорганизаций. В Петербурге размещалось управление, а с 1835 г. — штаб корпуса. Территория России была разделена на жандармские округа. Вначале их было пять (по 8–11 губерний в каждом), потом были добавлены Варшавский, Сибирский, Кавказский округа. Каждый округ возглавлял жандармский генерал, руководивший при помощи собственной канцелярии, называвшейся окружным дежурством. Впоследствии появились управления округов. Округ делился на несколько отделений, которыми управляли жандармские штаб-офицеры. В дальнейшем структура еще более усложнилась. Штаб-офицеров начали назначать в каждую губернию. Появились управления не только округов, но и отделений. Когда Россия покрылась сетью железных дорог, на главных магистралях были созданы полицейские управления из жандармских офицеров.