Как бы то ни было, Ушаков благодаря своим способностям и усердию довольно быстро сумел выслужиться. Поворотным моментом в его карьере стало расследование дела участников восстания Булавина в 1707–1708 годах. С тех пор Петр I начал заметно выделять среди прочих скромного и немолодого офицера. К середине 1710-х годов Ушаков уже входил в элиту гвардии, в своеобразную «гвардию гвардии». Он стал одним из десятка тех гвардейских майоров — особо надежных и многократно проверенных на разных «скользких» делах порученцев, которым царь часто давал самые ответственные задания, в том числе и по сыскным делам. Среди этих гвардейских майоров — людей честных, инициативных, бесконечно преданных своему Полковнику, Ушаков выделялся тем качеством, которое в свое время помогло сделать карьеру начальнику страшного Преображенского приказа князю Ромодановскому: как и Ромодановский, Ушаков любил и умел вести сыскные дела. Он отличился в бестрепетном расследовании служебных злоупотреблений крупных чиновников, а в 1714 году Петр поручает Ушакову «проведать тайно» о кражах в подрядах, о воровстве в Военной канцелярии и в Ратуше, а также об утайке дворов от переписи. Для такого дела недостаточно рвения и честности, нужны были какие-то особые способности в сыскном деле. Ими, вероятно, Ушаков и обладал. По-видимому, по этой причине именно Ушакова царь поставил первым заместителем к П. А. Толстому в образованную в марте 1718 года Тайную канцелярию. По одной из версий, Ушаков был одним из убийц царевича Алексея в Трубецком бастионе Петропавловской крепости ночью 26 июня 1718 года. В отличие от других асессоров Тайной канцелярии — Г. Г. Скорнякова-Писарева и И. И. Бутурлина, Ушаков показал себя настоящим профессионалом сыска. Он много и с усердием работал в застенке. Интересная черточка характера Ушакова видна из дела баронессы Степаниды Соловьевой, которая в июне 1735 года была в гостях у Ушакова и за обедом жаловалась на своего зятя Василия Степанова. Баронесса сказала, что зять «ее разорил и ограбил и при том объявила словесно, что в доме того зятя ее имеетца важное письмо». Хозяин сразу насторожился и спросил: «По двум ли первым пунктам?», то есть касается ли письмо наиболее серьезных политических преступлений. И хотя Соловьева уклонилась от ответа, в Тайной канцелярии вскоре завели на нее и ее зятя дело, а потом баронесса оказалась за решеткой и просидела в Тайной канцелярии несколько лет. Как видим, начальник Тайной канцелярии и в дружеском кругу, за обеденным столом, оставался шефом политического сыска.
В награду за расследование дела царевича Алексея Ушаков в 1719 году получил чин бригадира и 200 дворов. С успехом он заменял и самого Толстого, который, завершив дело царевича, тяготился обязанностями начальника Тайной канцелярии. Многие сыскные дела он перепоручал Ушакову, который делал все тщательно и толково. К середине 1720-х годов Ушаков сумел укрепить свои служебные позиции и даже стал докладчиком у Екатерины I по делам сыска. Гроза, которая в начале мая 1727 года разразилась над головой Толстого, А. М. Девиера и других, лишь отчасти затронула Ушакова — он не угодил на Соловки или в Сибирь. Его лишь, как армейского генерал-лейтенанта, послали в Ревель.
Во время бурных событий начала 1730 года, когда дворянство сочиняло проекты об ограничении монархии, Ушаков был в тени, но при этом он подписывал только те проекты переустройства, которые клонились к восстановлению самодержавия в прежнем виде. Возможно, в тот момент Ушаков угадал, за кем нужно идти. Позже, когда Анне Иоанновне удалось восстановить самодержавную власть, лояльность Ушакова отметили — в 1731 году императрица поручила ему ведать политическим сыском.
Ушаков, несомненно, вызывал у окружающих чувство страха. При этом он не был ни страшен внешне, ни кровожаден, ни угрюм. Современники пишут о нем как о человеке светском, вежливом, обходительном. Люди боялись не Ушакова, а системы, которую он представлял, ощущали безжалостную мощь той машины, которая стояла за его спиной. «Он, Шетардий, — рапортовали члены комиссии по выдворению из России французского посланника Шетарди в 1744 году, — сколь скоро генерала Ушакова увидел, то он в. лице переменился. При чтении экстракта столь конфузен был, что ни слова во оправдание свое сказать или что-либо прекословить мог».