Для ссыльных было чрезвычайно важным, как складывались их отношения с охраной и местными властями. Одни ссыльные умели ласками и подарками «умягчить» начальников охраны, воевод и комендантов, другие же ссорились с ними, страдали от придирок, самодурства и произвола. Подчас несовпадение характеров, неуживчивость делали жизнь ссыльных тяжелым испытанием. Местные власти и охрана могли при желании устроить своим подопечным подобие ада на земле. К тому же постоянные оскорбления простых солдат и офицеров были особенно мучительны для некогда влиятельных людей, перед которыми ранее все трепетали и унижались. Когда казачий урядник отобрал весь улов рыбы у ссыльного М. Г. Головкина, тот в сердцах сказал: «Если бы ты в Петербурге осмелился сделать мне что-нибудь подобное, как ты меня обидел, то я затравил бы тебя собаками». Но потом, остыв, граф пригласил нахала в свою хижину на выпивку: с волками жить – по волчьи выть!
А. Д. Меншиков сразу же наладил добрые отношения с начальником охраны в Ранненбурге капитаном Пырским и дарил ему богатые подарки. За это Пырский предоставлял Меншикову больше свободы, чем полагалось по инструкции. Так же вел себя с начальником охраны капитаном Мясновым и князь С. Г. Долгорукий, поселенный в Ранненбург после Меншикова, в 1730 году Мяснов получал от ссыльного вельможи роскошную шпагу, ткани, деньги и др. Вопреки инструкции Мяснов позволял ссыльным вести обширную переписку, выходить из крепости и вообще чувствовать себя как дома.
Герцог Бирон, оказавшись в ссылке в Ярославле, страдал от самодурства воеводы и особенно воеводши Бобрищевой-Пушкиной, как-то особенно его утеснявшей. Она, как в 1743 году писал в своих челобитных императрице Елизавете вчера еще страшный правитель России, «хочет меня и мою фамилию крушить, мучить и досаждать». Не меньше неприятностей Биронам доставлял офицер охраны: «Чрез восемь лет принуждены мы были от сего человека столько сокрушения претерпевать, что мало дней таких проходило, в которые бы глаза наши от слез осыхали. Во-первых, без всякой причины кричит на нас и выговаривает нам самыми жестокими и грубыми словами. Потом не можем слова против своих немногих служителей сказать – тотчас вступается он в то и защищает их… Когда ему, офицеру, угодно, тогда выпускает нас прогуливаться, а в протчем засаживает нас, как самых разбойников и убийцов». Между тем из всех ссыльных XVIII века Бирон был устроен в Ярославле лучше всех. Императрица Елизавета назначила ему хорошее содержание, в ссылку привезли библиотеку, мебель, охотничьих собак, экипажи, ружья, привели лошадей. Бирон мог гулять по городу, принимать гостей. Верхом ему разрешалось отъезжать от Ярославля на 20 верст. О таких условиях большинство знатных ссыльных могли только мечтать. Но у Бирона были постоянные свары с администрацией и охраной.
Иной была обстановка в Устюге Великом, где с 1753 по 1762 год сидел Лесток. Он жил с женой бедно, но весело, подружился со своим приставом. Пристав приводил к знатному узнику гостей, они играли в карты, и Лесток даже выигрывал себе на жизнь какие-то деньги. Различия в том, как жили Бирон и Лесток, объясняются во многом разными характерами этих людей. Спесивый и капризный Бирон наверняка не мог найти общего языка с любой охраной, тогда как веселый, неунывающий повеса Лесток вызывал у людей симпатию. Хорошие отношения с приставом, охраной облегчали узнику унылую жизнь в забытом Богом месте. Начальник охраны мог лишь одним педантичным исполнением инструкции сделать эту жизнь для преступников невыносимой.
Тот офицер, командир конвоя, что так не понравился своим внешним видом и повадками молоденькой княжне Долгорукой, оказался впоследствии весьма либеральным охранником и добрым человеком. Это был капитан Иван Михалевский, выслужившийся в офицеры из простых драгун. Доставив Долгоруких в Березов, он охранял их до 1735 года. Михалевский сблизился с ссыльными, делал им различные поблажки. К этому его побуждали обстоятельства. Как начальнику охраны, ответственному за жизнь и здоровье ссыльных, ему можно посочувствовать – Долгорукие жили недружно, постоянно ссорились и дрались. Михалевский опасался, как бы родственники, скученные в замкнутом пространстве острога, не поубивали друг друга. Ему приходилось постоянно разбирать свары князей и княжон, составлять протоколы о побоях – а вдруг кто-нибудь из них будет убит, а спросят ведь с него, начальника охраны! Поэтому Михалевский, чтобы разрядить обстановку в остроге, вопреки инструкции стал выпускать Долгоруких в город. Вольности, которые давал Михалевский ссыльным, принесли ему в конечном счете несчастье: за нарушение инструкций его судили и приговорили вначале к расстрелу, а потом к ссылке в Оренбург «в тягчайшую работу вечно». Освободили Михалевского от каторги при Елизавете Петровне, но он остался без пропитания, чина и не у дел.