Идея разом поставить и страну, и армию под неусыпный политический контроль нашла поддержку императора, и он почти одновременно с назначением Бенкендорфа главой Третьего отделения 25 июня 1826 г. поручил ему исполнение должности шефа жандармов. Хотя руководителю госбезопасности на первых порах организационно была подчинена только часть жандармов, а решение хозяйственных, продовольственных, военно-судных и следственных вопросов оставалось вне его компетенции, тем не менее начало новой мощной централизованной структуре было положено. В первую очередь Бенкендорф обязал начальников жандармских частей и подразделений раз в месяц представлять рапорты и донесения о происшествиях, а также в качестве шефа жандармов взял в свои руки кадровый вопрос. Официальное оформление новой структуры было совершено указом от 28 апреля 1827 г. об учреждении Корпуса жандармов. Вся территория европейской части России была поделена на 5 жандармских округов по 8–11 губерний в каждом, а каждый округ в свою очередь подразделялся на 4–6 отделений (всего их было 26). Во главе округа стоял жандармский генерал, во главе отделения – жандармский штаб-офицер в чине от майора до полковника. Штаб корпуса с 1835 г. размещался в Петербурге. Общая численность этой военизированной структуры к концу 1828 г. составляла 4278 человек, в том числе 3 генерала, 41 штаб-офицер, 160 обер-офицеров, 3617 нижних чинов и 457 нестроевых. В этой связи любопытен следующий факт: еще в 1823 г. лидер Южного общества декабристов полковник П.И. Пестель рассчитал, что после свержения самодержавия революционной диктатуре для поддержания своей власти в России потребуется 112 900 жандармов. Численность же царской жандармерии никогда даже отдаленно не приближалась к такой цифре: в 1836 г. в ее штатах числилось 5164 человека, в 1857 г. – 4629, 1866 г.– 7076, 1880 г.– 6708, 1895 г.– 9243, 1914 г.– 13 645 и в 1917 г. – 15 718. Уже только на этом основании можно поставить вопрос о корректировке привычного нам стереотипа о прогрессивных революционерах, стремившихся «освободить» народ от военно-полицейского гнета реакционного царизма.
Новое ведомство задумывалось и создавалось как элитное соединение. На должности нижних чинов специально отбирались грамотные и наиболее развитые солдаты других родов войск. Еще более строгим был порядок отбора офицеров. Помимо дворянского происхождения, желания служить в Корпусе жандармов и достижения 20-летнего возраста, им следовало пройти специальную проверку. Любое служебное взыскание, а тем более свидетельства о политической неблагонадежности становились практически непреодолимым препятствием при поступлении на службу в жандармерию. Каждый офицер корпуса давал специальную подписку в том, «что ни к каким масонским ложам и тайным обществам, думам, управам и прочим, под каким бы названием они ни существовали, я не принадлежал и впредь принадлежать не буду». Впоследствии для поступающих в корпус были введены курс обучения, экзамены и испытательный срок. Столь строгий отбор был обусловлен тем, что Николай I видел в жандармских офицерах своих представителей на местах, а Бенкендорф не переставал напоминать подчиненным об их высоком предназначении: «В вас всякий увидит чиновника, который через мое посредство может довести глас страждущего человечества до престола царского и беззащитного и безгласного гражданина немедленно поставит под высочайшую защиту государя императора».
Отношение общества к новому элитному подразделению было двойственным. С одной стороны, монаршее доверие и проистекающая из него власть вкупе со значительно более высоким, чем в армии, жалованьем влекли в Корпус жандармов многих офицеров. Например, в 1871 г. прошения о переводе в жандармы подали 142 армейских офицера, из которых был отобран 21, а к занятиям было допущено только 6 человек. Число желающих стать жандармами почти всегда превышало количество имеющихся вакансий. С другой стороны, в обществе достаточно быстро утверждается взгляд на жандарма как на шпиона и доносчика, случаи отказа от подобной «постыдной» службы со стороны тех лиц, которых приглашали на жандармскую службу, также были не единичны.