Граф Бенкендорф оставался во главе Отделения до самой своей смерти (15 сентября 1841 года); преемником его был князь АФ.Орлов (по 5 апреля 1856 года). С 1856 по 1866 шефом жандармов был князь Василий Андреевич Долгорукий, с 1866 по 1874 – граф Пётр Андреевич Шувалов, с 1874 по 1876 – Александр Львович Потапов, с 1876 по 4 августа 1878 (в этот день он был убит революционером Кравчинским) Николай Владимирович Мезенцев, с 1878 по 1880 год, когда III Отделение было (при графе М.Т.Лорис-Меликове) упразднено, – Александр Романович Дрентельн. Все эти лица были, конечно, генерал-адъютантами.
Специальными местными органами III Отделения были жандармские части, которые постепенно обособлялись от военного ведомства и становились в теснейшую связь с Отделением. Так, в 1836 году все жандармские части, находившиеся в ведении корпуса внутренней стражи, выделены и включены в состав образованного корпуса жандармов, подчинённого исключительно своему шефу (он же главный начальник III Отделения). В 1839 году должность начальника штаба корпуса жандармов соединена с должностью управляющего III Отделением. В 1842 году жандармский полк, состоявший при войсках, подчинён шефу жандармов во всех отношениях и включён в состав корпуса жандармов. Для ближайшего управления сетью жандармских команд, раскинутых по всей империи, образовано в 1826 году пять округов (в 1843 число их возросло до восьми); округа эти разделены на отделения со штаб-офицерами (начальниками отделений) во главе; деятельность каждого распространялась на две-три губернии.
С 1826 года важнейшею обязанностью жандармских чинов, помимо полицейской службы, становится и наблюдательная деятельность. Приказом шефа жандармов от 31 августа 1826 года предписано всем начальникам жандармских частей доносить ему «обо всех происшествиях» в местах квартирования частей, а также «о всех примечательных фактах», о которых «чины» узнают; сведения, «заслуживающие особого внимания», предписывалось посылать в конвертах с надписью «в собственные руки». В начале 1827 года была издана особая инструкция, определяющая обязанности жандармских чинов «по наблюдательной части».
Превыше всего ставивший дисциплину и из всех общественных организаций симпатизировавший только военной, император Николай I сам относился к своим государственным обязанностям с добросовестностью исполнительного ротмистра. Он стремился принимать участие в разрешении всякого дела, независимо от его масштабов и значения. Не доверяя бюрократической системе управления, особенно широко развернувшейся со времени административных реформ его брата, он пытался превратить всю несметную чиновническую массу, от министров до коллежских регистраторов, в покорных исполнителей царской, и только царской воли. И здесь III Отделение было весьма к месту. Бенкендорф в записке к Николаю замечал: «Для того, чтобы полиция была хороша и обнимала все пункты империи, необходимо, чтобы она подчинялась системе строгой централизации, чтобы её боялись и уважали…»
Как ни странно, такие же советы император мог получить и от «демагога» П.И.Пестеля.
В «Русской правде» Пестеля, хотя и рассчитанной на совершенно другую аудиторию, Николай мог найти много полезных истин, если бы только он самолично познакомился с текстом этого «возмутительного произведения». С особым вниманием он должен был отнестись к разделу «Записки о государственном управлении», где Пестель намечал полицейскую систему будущего государства, по плану «Записки», ещё монархического.
«Высшее благочиние охраняет правительство, государя и государственные сословия от опасностей, могущих угрожать образу правления, настоящему порядку вещей и самому существованию гражданского общества или государства, и по важности сей цели именуется оно вышним…» Оно «требует непроницаемой тьмы и потому должно быть поручено единственно государственному главе сего приказа, который может оное устраивать посредством канцелярии, особенно для сего предмета при нём находящейся…» Имена чиновников «не должны быть никому известны, исключая государя и главы благочиния». Рассматривая далее функции благочиния, Пестель включает в них наблюдение за правильным ходом государственного аппарата, преследование противоправительственных учений и обществ и иностранный шпионаж. «Для исполнения всех сих обязанностей имеет вышнее благочиние непременную надобность в многоразличных сведениях, из коих некоторые могут быть доставляемы обыкновенным благочинием и посторонними отраслями правления, между тем как другие могут быть получаемы единственно посредством тайных розысков. Тайные розыски, или шпионство суть посему не только позволительное и законное, но даже надёжнейшее и почти, можно сказать, единственное средство, коим вышнее благочиние поставляется в возможность достигнуть предназначенной ему цели».