Это было продолжением старого конфликта. В 1880 году Анастасия Сергеевна явилась в контору Паниных и потребовала от управляющего капитал, принадлежавший ее дочери, в размере нескольких сотен тысяч рублей. Управляющий растерялся и отдал все деньги. Узнав об этом, графиня Н. П. Панина написала письмо императору с просьбой назначить над внучкой опекуна. Анастасия Николаевна Мальцева, мать А. С. Паниной, бывшая при императрице Марии Александровне, упросила ее не удовлетворять требование Паниной и оставить девочку матери. В итоге об этом решении объявил А. С. Паниной сам министр внутренних дел М. Т. Лорис-Меликов. Однако вскоре он был обескуражен, узнав, что Анастасия Сергеевна связана с революционным движением. Лорис-Меликов тут же поехал к ней и потребовал вернуть деньги. Прошло несколько месяцев, но деньги А. С. Панина так и не вернула. Вскоре пришла новость о смерти императрицы Марии Александровны. Графиня Н. П. Панина отправилась в Зимний дворец и там столкнулась с самим Александром II, который ненадолго вернулся из Царского села. Государь сообщил, что накануне говорил с женой о Софье Паниной и обещал императрице оставить ее у матери: «Это был последний наш разговор, последний предмет, о коем шла речь».
16 августа 1882 года Анастасия Сергеевна и Иван Ильич Петрункевич обвенчались. На следующий день уже жена с дочерью выехали в Петербург. Там она сообщила родственникам о своем замужестве, чем вызвала настоящую сенсацию. При этом в столице за ней неотступно следили агенты полиции.
Родня бывшего мужа обратилась к министру внутренних дел графу Д. А. Толстому с просьбой отобрать Софью у матери, которая вышла замуж за «террориста». В 1882 году к Анастасии Сергеевне явился петербургский градоначальник А. А. Козлов и объявил, что по высочайшему повелению должен отобрать одиннадцатилетнюю дочь и доставить ее в Екатерининский институт…
А. С. Петрункевич жила в Петербурге, чтобы видеться с дочерью — в определенные дни и часы, в присутствии пепиньерки[6]
. И. И. Петрункевич остался в Смоленске один: его дети от первого брака жили в Петербурге с Анастасией Сергеевной. Вскоре сын Александр заболел брюшным тифом, и новый смоленский губернатор А. А. Кавелин отпустил Петрункевича ненадолго в Петербург. Когда Петрункевич приехал к семье на Бассейную улицу, он увидел, что здоровью сына ничто не угрожает. Естественно, за ними велось наблюдение, так что не было и речи о том, чтобы ходить по знакомым. Как раз в те дни скульптор П. П. Забелло отлил из гипса бюст А. С. Петрункевич. Впоследствии бюст много путешествовал вместе с семьей, побывал в Твери, Москве, Гаспре, снова в Петербурге — и в 1915 году был подарен Софье Паниной.У Петрункевичей бывал флигель-адъютант граф П. П. Шувалов, близкий ко двору, один из организаторов «Священной дружины», тайной организации, созданной для защиты царя от террористических актов. Граф недолюбливал министра внутренних дел Д. А. Толстого, выражал сочувствие Анастасии Сергеевне, пытался ей по возможности помочь. Благодаря его связям Петрункевичам удалось избавиться от слежки, которая особенно досаждала Анастасии Сергеевне. Шувалов и Петрункевич говорили о положении России, о конституционной реформе, об исчерпанности сил самодержавия. В чем-то соглашались, однако расхождений было больше. Шувалов стоял за «аристократическую конституцию», за «палату лордов по-русски», он даже прислал Петрункевичу записку с проектом государственных преобразований.
Вернувшись в Смоленск, Петрункевич ежедневно писал Анастасии Сергеевне, ждал писем от нее. Это хоть как-то скрашивало одиночество. Однажды Есипов сообщил ему, что вся его переписка перлюстрируется и что ее внимательно читает сам министр, граф Толстой. Тогда супруги решили посмеяться над министром и принялись бранить его в письмах чуть не ежедневно. Похоже, Толстому надоело это читать, и распоряжение о перлюстрации было отменено. Петрункевич полагал, что министр интересовался их перепиской с женой, подозревая чету Петрункевичей в тесных контактах с П. П. Шуваловым, которого опасался. Но переписка подтвердила отсутствие таких связей.
В мае 1883 года Петрункевичу было предоставлено право выбрать любой город в качестве места жительства, за исключением столиц. Он не задумываясь назвал Тверь. Там жил брат, семья Бакуниных, это было недалеко от Москвы и Санкт-Петербурга. Туда он перебрался уже в июне 1883 года. В скором времени его принял тверской губернатор А. Н. Сомов: «Вы доставили бы мне большое удовольствие, если бы избрали другой город и уехали отсюда». Петрункевич соглашался уехать только при условии, если Сомов испросит у министра внутренних дел разрешение о выезде Петрункевича с семьей за границу. Но губернатор в ответ замахал руками: «Что вы, что вы! Чтобы я обратился к графу Дмитрию Андреевичу с такой просьбой?!»