После завершения съемок фильма «Любить человека» отношения Сергея Герасимова и Любови Виролайнен продолжились. Несмотря на то что жили в разных городах, любовники все же находили время для встреч. Герасимов специально посодействовал, чтобы Виролайнен стала членом худсовета «Мосфильма», и с этого момента актриса получила возможность часто приезжать в Москву. Останавливалась она обычно в номере люкс гостиницы «Украина», которая находилась… в двух шагах от дома Герасимова. Их встречи обставлялись по всем правилам строгой конспирации: обычно Герасимов говорил жене, что идет гулять с собакой, а сам шел в гостиницу. Иной раз «прогулка с собакой» продолжалась больше часа. Судя по всему, Макарова догадывалась о том, где и с кем «гуляет» ее супруг, но виду никогда не подавала.
Еще одним связующим звеном между любовниками были письма. Причем это была односторонняя переписка – писал в основном Герасимов. Письма он направлял до востребования на почту при Балтийском вокзале. За несколько лет их любовной связи Виролайнен накопила целую гору его любовных посланий, которые предпочитала хранить у матери. Та же, узнав, с кем роман у ее дочери, однажды взяла и сожгла все письма режиссера.
Между тем Герасимов не был скупым не только на ласки, но и на подарки – он дарил их своей возлюбленной при любом удобном случае. Так, ежемесячно он присылал ей, например, по тысяче рублей, что в те годы было просто астрономической суммой. Он также выбил для нее роскошную квартиру, в которую впоследствии въедет сын актрисы. Из служебной командировки в Италию Герасимов привез Виролайнен изумительную камею на платиновой цепочке и огромный янтарный перстень с вкраплениями серебра. К сожалению, актриса носила эти подарки не слишком долго. Сначала она рассталась с перстнем, проносив его на пальце всего четыре месяца: в ресторане «Арагви», куда однажды зашла Виролайнен, ей очень понравилась цыганка, лихо отплясывавшая жгучий танец, и перстень стал подарком танцовщице за ее талант. Потом Виролайнен лишилась и камеи. Это случилось в августе 73-го в Дагомысе, где актриса отдыхала от трудов праведных. В один из дней прямо на пляже ей стало плохо, и ее отвезли в больницу. Врачи обнаружили у нее язву желудка и немедленно положили на операционный стол. Чтобы стимулировать врача на хороший исход операции, Виролайнен сняла с себя цепочку с камеей и надела ее на шею анестезиологу.
Вспоминает Любовь Виролайнен: «Тем не менее чувств к Герасимову у меня тогда, увы, не было. Он страшно боялся, что мне с ним скучно, ведь у нас была огромная разница в возрасте – 36 лет. А ведь скучно должно было быть ему – в свои неполные тридцать лет я интеллектом, увы, не блистала. Но это его совершенно не смущало: все, что бы я ни говорила, вызывало у него приступы веселья – он хохотал от души. А вот сколько мне дал, сколько открыл он! Ахматову, Цветаеву, Блока я узнала только благодаря ему. Сидим как-то в ресторане в Ялте, у него стынет еда, он забыл о полном бокале вина – с упоением читает мне стихи Заболоцкого. А я, напротив, с жадностью уплетаю раков, крабов – голодное детство давало о себе знать. Сергей читает, читает, а потом вдруг спрашивает: «Тебе скучно?» – «Нет, очень вкусно». Его во мне восхищало все: наивность, непосредственность. Кроме того, у них с Макаровой не было своих детей, и он, наверное, видел во мне ребенка…»
Роман Сергея Герасимова и Любови Виролайнен продолжался около шести лет – с 71-го по 76-й. Потом Виролайнен встретила своего будущего второго мужа Александра и честно призналась в этом режиссеру. Она позвонила ему в Москву и сообщила: «Сереженька! Не надо мне больше присылать деньги, я выхожу замуж!» Герасимов отреагировал на это сообщение на удивление спокойно. После этого они не виделись около двух лет. А в 78-м Виролайнен приехала в Москву сниматься и в студийном буфете случайно столкнулась с Герасимовым. Тот был не один – рядом с ним находилась его бывшая ученица, актриса Наталья Бондарчук. По словам Виролайнен, ей показалось, что между учителем и бывшей ученицей «что-то есть». Во всяком случае, когда Виролайнен с упоением стала рассказывать своему бывшему возлюбленному про своего нынешнего мужа, Бондарчук не дала им долго общаться: прервав их разговор, она увела Герасимова из буфета.
«Я очень благодарна Сергею Аполлинариевичу! – говорит теперь Виролайнен. – Без его влияния я не смогла бы оценить Сашу, не знала бы, как мужчина должен ухаживать, относиться к любимой. Герасимов поднял меня на такую нравственную высоту, что только благодаря ему я смогла разглядеть в своем муже глубокую порядочность, честность и доброту…»
В 1984 году на экраны страны вышел фильм «Лев Толстой», в котором Герасимов (он же был и режиссером картины) и Макарова сыграли главные роли – Льва Толстого и его жены Софьи Андреевны. Картина рассказывала о последних днях жизни великого русского писателя. Так получилось, что этот фильм оказался последним и в жизни Герасимова. 28 ноября 1985 года он скончался.