С таким же трепетным волнением Елизавета Васильевна принялась читать письмо Глафиры Ивановны, описывающей, как она провела петербургское лето, что на её взгляд случилось примечательного в столице. Это были интересные, но малозначительные мелочи светского времяпровождения — прогулки, выезд на дачу, устройство празднеств в Петергофе. И всё это, близкое и знакомое Рубановской, теперь не трогало, не вызывало сильных волнений, как бывало раньше. Она вспомнила, как, получив такое же письмо от Глафиры Ивановны в первый год жизни в Илимске, невольно перенеслась сразу же в Санкт-Петербург и её охватило какое-то щемящее чувство сожаления: ей было больно и жалко утраченных связей и знакомств, всей беззаботной, светской жизни. Сейчас заманчивое описание этой же самой столичной жизни казалось ей совсем чужим, словно заимствованным из другого ей мира, мира чужого, отвергнувшего имя дорогого и любимого Елизаветой Васильевной человека. Рубановской теперь был ближе и доступнее тот мир, который окружал их в Илимске.
Ржевская, между прочим, сообщала как бы вскользь о том, что Александр Романович Воронцов живёт в своём родовом имении и о графе упорно распространяются слухи, что он оставляет свою службу совсем, уходит в отставку, якобы, по причине каких-то интриг, разыгравшихся при дворе и очернивших его доброе имя и вызвавших немилость императрицы к президенту коммерц-коллегии.
Эти строчки письма встревожили Рубановскую. За ними она как бы почувствовала те огорчения, какие могла принести им в их положении отставка столь важного государственного сановника — единственного их защитника. Елизавета Васильевна всё это живо представила себе и расстроилась.
И в самом деле, генерал-прокурор сената Самойлов, стремившийся свести свои давние счёты с графом Воронцовым, использовал всякий случай, чтобы создать к нему нетерпимые отношения при дворе. Сама императрица, не любившая президента коммерц-коллегии и не скрывавшая своей неприязни к нему перед другими сановниками, как бы подстрекала к подобным действиям генерал-прокурора сената. В руках Самойлова скопилось порядочно фактов, указывающих на то, что покровительство государственному преступнику со стороны графа Воронцова являлось как бы негласным протестом против суровой расправы императрицы с писателем-дворянином.
Если в год издания книги Радищева и последовавшего за этим ареста не удалось доказать, что граф Воронцов был как-то причастен к её написанию и появлению, то теперь, когда Александр Романович являлся покровителем илимского ссыльного, не скрывая своего сочувствия к опальному писателю, открыто помогая ему, он словно бросал дерзкий вызов и двору и самой императрице. Самойлову было известно влияние на губернаторов Сибири, которое оказывал Воронцов, смягчая тем самым участь государственного преступника. Для него не представляло большого труда плести интриги вокруг имени президента коммерц-коллегии.
Александр Романович знал об этих интригах Самойлова и своих врагов, но не пытался ни что-либо опровергнуть из того, что говорили о нём, ни тем более оправдываться в своих поступках и действиях. И хотя его деятельной натуре было тяжело оставлять государственную службу, продолжавшуюся свыше тридцати лет, уходить от шума двора в деревенское затишье, Воронцов должен был это сделать. С каждым годом он всё больше и больше чувствовал свои натянутые отношения с Екатериной, он всё яснее и яснее видел неудобства для государства её политики, не мог разделять её, считая, что управлять страной нужно уже по-иному, чтобы избежать возможных конфликтов и столкновений с народом, зная, что́ отечество пережило в пугачёвскую войну и переживала Франция в 1793 году.
Граф Воронцов сначала под предлогом своего нездоровья и необходимой перемены воздуха испросил увольнения на год. Отпуск был дан. Но год ещё не кончился, как Александр Романович просил и получил полную отставку.
Екатерина не возражала против отставки графа. Своей просьбой Воронцов помогал ей осуществить давнишнее её желание — отстранить от себя и от двора человека, которого она побаивалась: слишком уж разветвлены и влиятельны были его связи в разных сферах государственной деятельности не только в России, но и за её рубежами.
Более удобного момента нельзя было и ожидать. Императрица конфиденциально, доверительно в одном из своих писем с откровенностью сообщала:
«Не спорю, что он талант имеет; всегда знала, а теперь наивяще ведаю, что его таланты не суть для службы моей и что он мне не слуга. Сердце принудить нельзя, права я не имею принудить быть усердным ко мне; заставить же и меня нельзя почесть усердным ко мне, кто не есть. Разведены и развязаны на век будем, чёрт его побери».