Софи была в отчаянии; она даже поехала в Москву, чтобы самой объясниться с княгиней Вяземской. Её встретили благосклонно, оценив незаурядные достоинства молодой женщины, но вместе с тем менять решение никто не собирался. В конце концов Софи благородно захотела взять всю вину за расторжение помолвки (о которой уже было широко известно в Петербурге) на себя и уйти в монастырь. Своих несостоявшихся свёкра и свекровь она успокоила уверением, что никогда не выйдет замуж за Вяземского без их родительского благословения. Однако мать Софи посчитала себя оскорблённой и в гневе закусила удила. Она стала посылать жалобы по всем инстанциям: главноначальствовавшему воспитательных учреждений благородных девиц принцу Петру Георгиевичу Ольденбургскому, шефу лейб-гвардии великому князю Михаилу Павловичу и даже Николаю I. Погасить скандал уже не было возможности. Как и следовало ожидать, петербургский свет оказался вовсе не на стороне опозоренной девушки. Письма матери легли на стол начальнику Третьего отделения графу Алексею Фёдоровичу Орлову. Взвесив все за и против (прежде всего связи и влияние сторон), он решил дело отнюдь не в пользу обедневшей пензенской помещицы. Резолюция А. Ф. Орлова гласила, что «князь Вяземский не был обязан жениться на девице Бахметьевой». Правда, ему пришлось уйти в отставку «по домашним обстоятельствам». Кроме того, Юрий Бахметьев вступился за честь горячо любимой сестры и вызвал его на дуэль.
Поединок состоялся лишь спустя два года. Поручик Юрий Бахметьев служил в Петербурге, Вяземский жил в Москве. Однако вскоре Бахметьев перевёлся на Кавказ. Проезжая через Первопрестольную, он отправил Вяземскому записку: «Милостивый государь, мне нужно непременно видеться с Вами. Жду Вас у ворот Вашего дома в санях. Надеюсь, что не откажетесь поехать со мною. Если же Вы не выйдете, то я принужден буду отказать Вам в малейшем уважении. Буду всегда считать Вас и везде называть подлецом без меры чести, без тени благородства и уверяю Вас, что при первой встрече буду публично приветствовать Вас этим именем — я на всё решился…»[23] На этот раз противники не встретились, но Вяземский поклялся приехать в Дагестан следующим летом. Обещания он не сдержал.
Старший брат Николай Бахметьев отправился в Москву в январе 1845 года с целью разрешить ситуацию и вместо Юрия выйти на поединок. Но Вяземский вновь уклонился, ссылаясь на то, что уже дал слово Юрию Бахметьеву. Последнему удалось попасть в Москву только в мае того же года, когда он получил отпуск. Оба брата приехали в Первопрестольную из Смалькова. Дуэль произошла ранним утром 15 мая в Петровском парке. Первыми выстрелами противники только слегка оцарапали друг друга. Секунданты настаивали, чтобы дело на этом закончилось, но Юрий Бахметьев был неумолим. Враги вновь отошли на десять шагов от барьера и стали сближаться. Не дойдя до барьера, Вяземский выстрелил. Пуля попала Юрию Бахметьеву в грудь, и он тут же повалился замертво. Как было условлено заранее, убитого отнесли в кусты. Николай Бахметьев сразу дал объявление об исчезновении брата. Начались поиски; только через два дня тело было обнаружено.
В Смалькове ничего не знали, и произошедшее явилось громом с ясного неба. Вся семья облачилась в траур. Возможно, и не было произнесено ни слова упрёка, но Софи ловила на себе косые взгляды, красноречиво свидетельствующие о том, что именно её считают виновницей гибели брата. Постепенно атмосфера стала невыносимой, и тогда Софи, чтобы разрядить обстановку, поспешно вышла замуж за уже упомянутого страстно влюблённого в неё конногвардейского ротмистра Льва Миллера.
Современникам прежде всего бросались в глаза его роскошные пшеничные усы. Однако он был человеком не без достоинств. Внешне брак выглядел даже более выгодным, чем союз с Вяземским. Отец жениха дослужился до генерал-майора и был московским полицмейстером; мать приходилась родной сестрой матери Фёдора Ивановича Тютчева. Поэт был не только его близким родственником, но и крёстным отцом. Сам Миллер, благоговевший перед двоюродным братом, также писал стихи; в своё время некоторые из них стали популярными романсами. Но Софи уже была внутренне надломлена. Как и следовало ожидать, супружество оказалось несчастливым. Вскоре они по обоюдному согласию расстались и зажили самостоятельно. В петербургском «большом свете» ум, образованность и обаяние Софьи Андреевны Миллер быстро снискали ей известность.