Вскоре любовная идиллия подходит к концу. Потемкин по долгу службы проводит все больше и больше времени в южных губерниях. Варвара тоскует, скучает, это замечают при дворе. Императрица пишет князю: «Слушай, голубчик, Варенька очень не может. Если тому причиною Ваш отъезд, Вы не правы. Уморишь ее, а она очень мне мила становится. Ей хотят пустить кровь». Удивительно в данном случае поведение Екатерины, которая, несомненно, была в курсе любовных дел своего фаворита. Не оставляет мысль, что ее столь сильное чувство угасло именно в тот момент, когда открылась его связь с племянницами, хотя в письмах императрицы нет ни намека на это обстоятельство. Скорее всего, только одна из сестер Энгельгардт — Варвара — вступила в любовные отношения с дядюшкой, а двор императрицы и досужие дипломаты определили остальных в «гарем» фаворита. Измена Потемкина, да еще с племянницами, могла разом остудить сердце Екатерины, ну а разум подсказал ей, что незачем терять способного администратора. С этой точки зрения послания князя в тяжелые дни расставания, где он умоляет Екатерину о возобновлении прежних отношений, выглядят более чем странно.
Постепенно становится понятным, что будущего у страстного увлечения дядюшки племянницей не будет, а Варваре уже пора выйти замуж и занять положение в обществе. К этому дело и шло: в то время ее внимание привлек совсем другой человек — молодой князь Сергей Голицын. В ней, видимо, проснулось настоящее чувство. Натура активная, она вскоре добилась взаимности, но оказалась в затруднении: ей не хотелось обманывать дядюшку, тем более что он и так сразу бы узнал обо всем. Не желая резко порывать с Потемкиным, а главное, боясь лишиться выгод от их отношений, Варвара не собиралась упускать и Сергея Голицына. Ей надо было устраивать судьбу, а не тратить время на романы. Вскоре подвернулся подходящий повод для разрыва с дядей, при этом еще и получилось, что Потемкин стал виновником произошедшего. На какое-то время он должен был уехать из Петербурга по важным делам. Совпадение ли это было или продуманная игра, но именно перед отъездом дяди Варвара Энгельгардт вдруг заболела — как посчитали, ее крайне огорчила предстоящая разлука. С дороги Потемкин написал племяннице, обвинившей дядюшку в «жестокости»: «Варинька, ты дурочка и каналья неблагодарная; можно ли тебе сказать: “Варинька поможет, а Гришенька ничего не чувствует”. Я за это, пришедши, тебе уши выдеру. Матинька, пожалуй, не будь доктором сама себе; кровь пустить немудрено, только можно этим худо сделать».
Все сложилось удачно, и теперь Варваре Васильевне, обиженной дядюшкой, несчастной и покинутой, ничего не остается, как порвать с ним. Племянница садится за перо и пишет вдогонку Потемкину большое письмо, намекая на некую соперницу:
«Напрасно Вы меня так ласкаете, я уже не есть та, которая была. Еще бы Вы больше меня дурачыли севодни в кабинете. Послушайте, я теперь Вам серьезно говорю, если вы помните Бога, если Вы когда-нибудь меня любили, то прошу Вас, забудьте меня на веки, а уж я решилась, чтобы оставить Вас. Желаю, чтобы Вы были любимы тою, которую иметь будете; но верно знаю, что никто вас столь же любить не может, сколько я. Дурочылась понапрасну, радуюсь, что в одну минуту узнала, что я только была обманута, а не любима вами. Знайте, что я расстаюсь с вами и не забываю; но еще чувствительнее мне в тысячу раз с вами расстаться…
К чему Вы меня просите, штобы я с Вами помирилась. Я никогда не выду из благопристойности. Буду с Вами так, как я вчера Вам сказывала. Только не так, как прежде».
Варвара не откликнулась на уговоры дядюшки-любовника и через несколько дней сказала наконец свое последнее слово: «Ну, теперь уже все кончилось; ожидала я этого всякую минуту с месяц назад, как я примечала, что вы совсем не таковы против меня, как были прежде. Что же делать, когда я так несчастлива? Не скажу я вам, чтобы мне это было легко… Пускай любви вашей ко мне нет, да, по крайней мере, сколько-нибудь честь в вас останется. Посылаю к вам все ваши письма; а вас прошу, если помните Бога, то пришлите мои… Я очень чувствую, что делала дурно, только вспомните, кто этому причиною? Прощайте, батюшка, поверьте, что я всегда вам желаю всего хорошего; это со мною на веки останется, только прошу вас, и сама стану стараться вас бегать; дай Бог вам веселиться столько, сколько я буду плакать… Больше я уже вас беспокоить не буду; впрочем, будьте уверены, что я не забуду во весь мой век, что я вами несчастлива…»