Освоившись с обычаями новой родины и войдя в круг людей, приближенных к государю, Девиер решил упрочить свое положение женитьбой на представительнице высшего российского общества. В качестве объекта для достижения поставленной цели он избрал сестру царского любимца Меншикова Анну Даниловну. Он обольстил эту некрасивую и не очень-то молодую по тем временам особу (ей к тому времени уже стукнуло 22 года) и пришел к Меншикову просить руки сестры. Меншиков, не любивший Девиера, был сильно разгневан случившимся. Он не только собственноручно избил новоявленного «жениха», но также приказал своей челяди вышвырнуть его из дворца. Побитый, с расквашенной физиономией и порванной одеждой красавчик Девиер побежал жаловаться государю. Тот принял страдания «влюбленного» близко к сердцу, призвал к себе Меншикова и повелел в течение трех дней обвенчать сестру с Девиером. Меншикову ничего не оставалось, как подчиниться воле государя. Однако он затаил к Девиеру непримиримую ненависть.
Венчание молодых состоялось в установленные государем сроки, а свадьба – лишь после отъезда Меншикова из Петербурга на театр военных действий. Брак оказался удачным. Анна Даниловна родила дочь Екатерину и трех сыновей – Петра, Александра и Антона Антоновичей.
В 1715 г. государь отправил Девиера в Ревель руководить строительством морского порта, а после возвращения его в Петербург назначил первым петербургским генерал-полицмейстером. В этой должности он принял участие в следствии по делу царевича Алексея Петровича и наряду с другими подписал смертный приговор.
Генерал-полицмейстер российской столицы ведал всеми вопросами городского хозяйства. Формально он подчинялся Сенату и генерал-губернатору Меншикову. Зная о личном неприязненном отношении генерал-губернатора к генерал-полицмейстеру, все недовольные Девиером бежали жаловаться к Меншикову, но царь, которому фактически подчинялся генерал-полицмейстер, всегда в этих спорах был на стороне Девиера.
Штат петербургской полиции (в других российских городах полиции в то время еще не было) состоял из десяти офицеров, двадцати унтер-офицеров, 160 «солдат добрых», одного дьяка и десяти подьячих. Дьяк и подьячии обслуживали канцелярские нужды. Форма полиции состояла из кафтана, брюк и картузов василькового цвета с алыми обшлагами, зеленых камзолов, шпаги на лосиной перевязи и ружья с патронной сумкой.
Полиция не только боролась с городским криминалом и обеспечивала покой обывателя, но также занималась благоустройством. Первым распоряжением Девиера было издание правил мощения улиц, где, в частности, говорилось: «Каждому… против своего двора посыпать песком и камнем мостить гладко…» Стали строго наказывать тех, кто сваливал в Неву и другие городские водотоки мусор. За это не только били кнутом, но и особо злостных нарушителей ссылали на каторгу. С 1721 г. в городе стали устанавливать осветительные фонари. Освещение производилось конопляным маслом. Что же касается наказаний за нарушение правил, то здесь испытанными средствами были кнут, кошки, батоги. Запрещалось многое – просить милостыню, петь песни на улицах, играть в азартные игры, пьянствовать и прочее. Полиция вела многофункциональную деятельность, вплоть до организации ассамблей и контроля розничной торговли.
Незадолго до смерти государя Петра Алексеевича, 6 января 1725 г., Девиера произвели в генерал-майоры. Екатерина I, за передачу власти которой после смерти супруга Девиер активно выступал, оценила это и пожаловала ему знаки ордена Александра Невского, графское достоинство и чин генерал-лейтенанта.
Но вот 24 апреля 1727 г. к тяжело больной императрице явился светлейший князь А. Д. Меншиков, которому императрица очень доверяла, и сообщил ей, что есть данные о причастности Девиера к некоему заговору против нее. Возмущенная императрица тут же приказала арестовать Девиера, который во время ареста попытался заколоть Меншикова шпагой.
Начнется следствие, главным аргументом которого стали дыба и плети. Обвиняемый пыток не выдержал и признался во всем, что ему предъявили. Обвинительный приговор по делу Девиера и его сообщников (а таковых тоже нашли) императрица подписала в день своей смерти. В соответствии с ним петербургский генерал-полицмейстер был лишен дворянства и титула, чинов и имений, бит кнутом и отправлен в сибирскую ссылку в Жиганское зимовье, в 800 верстах от Якутска.
Его усадьба на берегу Фонтанки, на территории нынешнего Аничкова дворца, была конфискована и передана под полковой двор лейб-гвардии Преображенского полка.
Девиер провел в Жиганском зимовье 12 лет. В 1739 г. его назначили начальником Охотского порта. Здесь он закончил снаряжение Второй Камчатской экспедиции Беринга, завершил строительство порта и стал основателем Мореходной школы, преобразованной впоследствии в Штурманское училище сибирской флотилии.