24 апреля 1863 года в Лирическом театре Парижа состоялось прощальное представление «Орфея» Глюка и «при бесконечных аплодисментах» Полина Виардо простилась с публикой и Парижем. Голос ее сдавал, и она решила оставить сцену и покинуть Францию. В конце апреля 1863 года семья Виардо поселилась в Баден-Бадене, а 3 мая сюда приехал Тургенев. Полина открывала в Баден-Бадене школу вокального искусства и окружила себя целой колонией русских учениц из богатых семейств. Тургенев приехал сюда вместе с дочерью, но постоянно напряженные отношения девушки с семьею Виардо на этот раз закончились навсегда тяжелой сценой и «незаслуженными обвинениями» в адрес хозяйки дома. Дочь оставила Баден-Баден и в семье Виардо больше никогда не появлялась. В 1865 году она вышла замуж за управляющего, а потом и владельца стекольной фабрики в Ружмоне Гастона Брюэра.
Тургенев поселился в Баден-Бадене, а в 1865 году приобрел здесь участок земли, прилегавший к вилле Виардо, и построил дом в стиле Людовика XIII, с мансардами, высокими крышами и трубами — по словам немецкого литератора, друга Тургенева Людвига Пича, — сказочный замок среди леса и полян. Связи писателя с Родиной все более и более ослабевали. Даже любимая страсть — охота — уже не манила его в родные места, на просторы орловского края. Он охотился с Луи Виардо в Шварцвальдских лесах и в письмах к друзьям говорил, что культурно организованная охота имеет ряд преимуществ.
В доме Виардо звучала музыка, обсуждались новинки европейской литературы и искусства, составлялись программы домашних концертов, которые вскоре превратились в музыкальный центр этой летней столицы Европы. На музыкальных «утренниках» играли выдающиеся пианисты, среди которых был А. Рубинштейн, партию фортепиано на одном из концертов исполнял Брамс. Появлялись на вилле Виардо и Бисмарк, и нидерландский король.
Полина стала заниматься сочинением музыки: писала романсы на стихи русских поэтов — Пушкина, Лермонтова, Кольцова и Фета, сочинила оперу «Золушка, или Ночь святого Сильвестра», затем совместно с Тургеневым обратилась к оперетте, и автор «Записок охотника» сочинял ей «всеевропейские» либретто «Слишком много жен» и «Последний колдун».
Для постановки опереток Тургенев отдавал большой зал своей виллы: соорудили сцену, повесили зеленый занавес, несколько кустов олеандров изображали дремучий лес, заставленное окно — хижину. В «Последнем колдуне» Тургенев играл безмолвную роль паши; в момент, когда по сценарию он распластывался на сцене, на неподвижных губах присутствовавшей на представлении баденской кронпринцессы «медленно скользила легкая усмешка презрения». Но чего не мог сделать Тургенев ради прелестной мадам Виардо?! Правда, в письме к Анненкову, описывая этот пассаж, он замечал: «Что-то во мне дрогнуло! Даже при моем слабом уважении к собственной персоне, мне представилось, что дело зашло уж слишком далеко». Так оно и было в действительности. Когда речь шла о Полине Виардо, Тургеневу изменяло не только эстетическое чувство, но подчас и элементарный здравый смысл. «Последнему колдуну» он пророчит большой музыкальный успех на европейской оперной сцене. Некоторые дуэты в нем он ставит в ряд выдающихся явлений оперной музыки.
Но когда «Последнего колдуна» поставил оперный театр в Карлсруэ, где Виардо выступила в роли принца Лемо, спектакль с треском провалился и «под шиканье публики» был «отправлен в могилу». Скандальный провал стал достоянием многих газет, которые с ядовитым сожалением писали о «впавшей в детство» Виардо. Заодно высмеивались и знаменитые писатели, сочиняющие вздор, и знаменитые певицы, пишущие душераздирающую музыку.
Чтобы поддержать тщеславные чувства своей повелительницы, Тургенев пускался на маленькие хитрости: на свои деньги печатал романсы Виардо в России, оплачивая весь тираж, и умолял друзей написать несколько лестных строк о них в русских газетах. Так, он просил А. В. Топорова: «А теперь скажу Вам нечто, которое прошу Вас сохранить в глубочайшем секрете. Иогансен мне ничего не платит за романсы г-жи Виардо, а я, щадя ее самолюбие, говорю, что он мне дает 25 р. сер. за каждый. Напишите мне письмо, в котором Вы скажете, что получили от Иогансена 125 р. сер. за последние пять романсов — а я это письмо ей покажу (она читает по-русски), так как она начинает подозревать мою дружескую хитрость — и я ей эти деньги заплачу, а Вы их будто задержите в Петербурге».