Первое время он служил в Тульской губчека, а потом в Тульском губотделе ОГПУ. В 1927 году Успенский был переведен на работу в Полномочное представительство ОГПУ по Уралу, где его назначили начальником экономического отдела ПП ОГПУ. На этом посту Успенский сумел отличиться в так называемом «Шахтинском деле». Организовал его полномочный представитель ОГПУ по Северному Кавказу Е. Евдокимов, в 1927 году доложивший лично Сталину о том, что в. городе Шахты действуют вредители. После этого доклада по прямому указанию Сталина в Шахтах была арестована большая группа старых специалистов, в том числе и иностранных, которых обвинили во вредительской деятельности на предприятиях угольной промышленности и цветной металлургии и создании контрреволюционной организации, действовавшей под руководством так называемого «Парижского центра». Успенский принимал в этом деле активное участие и в 1930 году «за разгром шахтинских вредителей в уральской металлургии, в угольной, медеплавильной и золото-платиновой промышленности» был награжден орденом Красного Знамени. Скорее всего, именно тогда на него и обратил внимание Н. Ежов, работавший в то время заведующим отделом кадров ЦК ВКП(б) и много сделавший для дальнейшего продвижения Успенского наверх.
В 1931 году Успенский был переведен в Москву, где работал в Полномочном представительстве ОГПУ по Московской области, а в июле 1934 года — стал вторым заместителем начальника УНКВД по Московской области. Двадцать девятого ноября 1935 года ему было присвоено специальное звание старшего майора госбезопасности, после чего он был назначен заместителем коменданта Московского Кремля по внутренней охране. Это назначение без протекции Н. Ежова состояться не могло, а значит, будущий нарком НКВД СССР зачислил Успенского в свою команду.
В феврале 1936 года Успенский был направлен в Западно-Сибирский край заместителем начальника краевого УНКВД. Но пробыл там недолго. В октябре 1936 года новым наркомом НКВД СССР становится Ежов, развернувший по распоряжению Сталина очередной этап «большого террора». Для выполнения указаний Сталина Ежову потребовались люди, способные выполнять деликатные поручения особой важности и не раз доказывавшие свою преданность. Одним из таких людей и был Успенский. Поэтому, когда в марте 1937 года, как «не обеспечивший чекистской работы по области», был снят с должности начальника УНКВД по Оренбургской области Н. Райский, на его место назначили Успенского. Перед назначением на новую должность Успенского принял сам Ежов, дав при встрече следующее напутствие:
«Не считаясь с жертвами, нанести полный оперативный удар по местным кадрам. Да, могут быть и случайности. Но лес рубят — щепки летят. Имей в виду, в практической работе органов НКВД это неизбежно. Главное, что требуется от тебя — это показать эффективность своей работы, хорошие результаты, блеснуть внушительной цифрой арестов».
Указания своего покровителя Успенский принял к безусловному исполнению. В результате за короткое время в Оренбурге было сфальсифицировано несколько громких дел, в том числе и о военизированной белогвардейской организации. И только по этому делу местными органами НКВД было арестовано несколько тысяч человек. Ежов был доволен успехами своего назначенца, и на состоявшемся в июне 1937 года Всесоюзном совещании руководства НКВД поставил его в пример другим. А уже в январе 1938 года Ежов назначает Успенского наркомом внутренних дел Украины.
Прибыв в Киев, Успенский заручается санкцией ЦК ВКП(б) на арест тридцати шести тысяч человек с вынесением им приговора во внесудебном порядке, то есть постановлением тройки при НКВД УССР. Надо ли говорить, что маховик репрессий на Украине после назначения Успенского завертелся в полную силу. Но в июле 1938 года первым заместителем Ежова был назначен Л. Берия. Опытный аппаратчик Ежов прекрасно понял, что его время подходит к концу. Как в свое время он уничтожил всех руководителей НКВД, занимавших свои посты при Г. Ягоде и готовивших первые московские процессы, так и Берия уберет его и его выдвиженцев. В августе 1938 года, когда в Москве собралась вторая сессия Верховного Совета СССР, Ежов пригласил к себе на дачу Успенского и другого своего любимчика — М. Литвина. За обедом, выпив, по обыкновению, немало водки, Ежов сказал своим фаворитам: «Мы свое дело сделали и теперь больше не нужны. От нас будут избавляться как от ненужных свидетелей».