Потянулись долгие дни ссылки. Ярославль, конечно, был не похож на затерянный в тайге Пелым, который, кстати, и в наши дни остается местом поселения для отбывших свои сроки заключенных. Жить в богатом волжском городе было намного легче, чем в таежном поселке: Бирону и его семье был предоставлен купленный для них магистратом большой двор купца Макушкина, где дом и «палаты для делания кож» были перестроены и отремонтированы. В квартире появилась привычная обстановка, породистые лошади тешили сердце, а редкие гости скрашивали одиночество опального герцога.
Но ссылка оставалась ссылкой. Мозолила глаза охрана — 25 солдат во главе с поручиком Конной гвардии Николаем Давыдовым. Со сменившим его Степаном Дурново отношения не ладились, и больной герцог в 1753 году горько пожаловался на поручика: «Чрез восемь лет принуждены мы были от сего человека столько сокрушений претерпевать, что мало дней таких проходило, в которые бы глаза наши от слез осыхали. Во-первых, без всякой причины кричит на нас и выговаривает самыми жестокими и грубыми словами. Потом не можем слова против своих немногих служителей сказать — тотчас вступаетца он в то и защищает их».
Скорее всего, вина Дурново состояла в том, что он не позволял герцогу проявлять свой нрав и сурово поступать с несчастными «служителями». Офицер якобы выдал замуж его «арапку» за пастора на «посмеяние всему городу». Бирон был недоволен тем, что гвардеец не выпускал его детей на двор и заставлял герцогского повара готовить для себя. Дурново, отрицавший все обвинения, в итоге после непродолжительного и формального следствия отбыл с повышением в армию.
Подкараульное житье было несладким, тем более что служивые часто находились навеселе и от скуки приходили «в худое состояние», что обнаружил прибывший на смену новый начальник караула капитан-поручик Степан Булгаков. Бирон имел право свободно передвигаться по городу и его окрестностям, но и за воротами дома-тюрьмы его мало что радовало.
Раскинувшийся на волжских берегах Ярославль мало напоминал родные города Курляндии. В XVIII веке он утратил свою роль третьего по величине города страны. Взору Бирона представали полуразрушенные деревянные стены и башни, покосившиеся деревянные дома, кучи помоев с «безмерным смрадом». По улицам просили милостыню заключенные в цепях и «чинила продерзости» скотина, отлично себя чувствовавшая «во рвах и грязях», становившихся порой непроходимыми. Достопримечательностью города являлась огромная лужа — «Фроловское болото» перед одноименным мостом, в которой даже тонули загулявшие обыватели.
Горожане тоже не очень походили на почтенных бюргеров. По второй ревизии 1744–1745 годов в Ярославле насчитывалось 5819 купцов; но власти признавали, что из принудительно записанных в «купечество» лишь немногие «имеют средственное богатство, а большая часть претерпевает скудость». Кроме «регулярных» жителей, имелось еще «фабричных и других разночинцев 2569 душ мужеского пола», из числа подневольных работных людей, нередко вместе с «беспаспортными» бродягами и другими обитателями портового города промышлявших воровством и разбоем.
В 1756 году Сенат указал ярославскому магистрату, что число «воровских партий» на Волге увеличилось; разбойники «грабят и разбивают суда, и до смерти людей бьют, и не токмо партикулярных людей, но и казенные деньги отбираются, и с пушками, и с прочим не малым огненным оружием ездят». Магистрат призвал, чтоб «ярославские обыватели, ежели где таковых воровских людей партий уведают, то всячески бы накрепко ловили, а буде изловить невозможно, то б о таковых злодейских партиях объявляли в командах, где надлежит, в самой крайней скорости». Однако пока законопослушные обыватели по очереди несли ночную стражу от «лихих людей», их же соседи сами «чинили воровства» и «ходили на разбой с товарищами».
Власти присылали воинские команды; но защитники отечества на постое вели себя не лучше неприятеля и поступали с горожанами «весьма озорнически, нанося смертельные побои». Тогда в магистратских книгах появлялись записи: «Солдат имевшуюся при кабаке на качели незнаемую женку ударил по роже, от которого удара оная женка пала замертво». Недовольных обывателей вояки осаждали в их собственных домах так, что «ярославское купечество от страха и угрозов не токмо промыслов производить, но и из домов своих отлучаться не дерзает». Доставалось не только рядовым жителям, но и отцам города. Бравый подпоручик при межевых делах Александр Языков избил одного купца «безчеловечно, да, не удовольствуясь тем, явившись в магистрат, в подьяческой палате еще несколько зашиб». Разошедшегося воина пытались успокоить городские ратманы, которым Языков «с крайним задором говорил, <…> да и он, ратман, мужик, и что он мог и его, ратмана, прибить, а напоследок сказал, что он, подпоручик, на оное присутствие плюет».