Как мне казалось, у него был какой-то напряженный интерес к Америке. В доме повсюду валялись американские журналы «Life», «Look». У него я их впервые и увидела. По ним Абакумов одевался (а одевался он изысканно модно, в прекрасно сшитые костюмы, заграничные рубашки и вообще во все заграничное). По американским же журналам обставлял свои многочисленные комнаты. Сервировал стол. Он говорил, что любит смотреть американские фильмы потому, что его интересует всякая информация «оттуда»: как там люди живут, что носят, что едят, на каких машинах ездят… По-моему, ему очень хотелось походить на «западного» человека. Он даже говорил Вале, что три дня в неделю занимается с преподавателем английским.
Судя по тому, что находилось в его квартире, он вывез «полГермании». Картины, посуда, хрусталь, мебель, ковры, люстры — все было трофейное. Хозяин, что было заметно, старался разобраться в этом великолепии и привести его в соответствие с последней картинкой рекламного проспекта, прибывшего из-за рубежа.
Вспоминая Абакумова, могу сказать, что он начисто был лишен того, что называют «приятностью», «харизмой». Более того, он был неуютным в личном общении — холодно высокомерным, презрительно насмешливым. Безоговорочно принимая «западную» жизнь, в том виде, в каком она доходила до него в виде фильмов и журналов, он презирал советскую действительность. Все советские — газеты, книги, кино, автомобили — вызывали у него неприятие и брезгливость. Такие же чувства испытывал он к своим коллегам из МГБ и номенклатурным работникам. Валя мне говорила под огромным секретом, что Сталина — своего благодетеля, вознесшего его так высоко, он ненавидел настолько, что не мог (или не хотел?) этого скрыть. Однажды она была у него, когда раздался телефонный звонок — его вызывали к Сталину. Отойдя от телефона с перекошенным злобой и отвращением лицом, он грязно выругался и сказал: «Должен явиться»» […].
Роман Вали с Абакумовым закончился так же неожиданно, как и начался. Однажды Абакумов объявил Вале, что он женится на своей бывшей секретарше Тоне. Женится якобы потому, что означенная секретарша слишком много знает. Я в эту версию не верила: разве он не мог «убрать» эту слишком сведущую даму, как было принято в СССР, и не только с секретаршами? Но я молчала. Как говорится, не мое собачье дело. Валя страшно переживала этот разрыв: поблекла, подурнела и считала, что ее жизнь кончилась. Однако через недолгое время она поступила в Плехановский институт, вышла замуж за сына маршала Г. Жизненные обстоятельства разнесли нас в разных направлениях. Мы почти не виделись, редко перезванивались. Последнее, что я слышала от Вали об Абакумове, был ее рассказ о том, что она с мужем была приглашена на грандиозное празднование…летия ее «красавчика», как она выразилась. Было это не то в конце 50-го, не то в начале 51 — го года. И вдруг, летом 51 — го поползли слухи, что Абакумов арестован».
Антонина Николаевна Смирнова, вторая жена Абакумова, была младше мужа на двенадцать лет. Они познакомились, когда она работала в отделе военно-морской разведки МГБ.
В самую красивую женщину своего ведомства министр влюбился с первого взгляда. А потом закрутился бурный роман взаимной и зрелой любви.
«Тоня была ему жена или не жена, но ее все знали, хотя в кабинет к нему она никогда не ходила, — вспоминает Зинаида Павловна Алексеева. — Она в секретариате работала, в морской контрразведке, на другом этаже. В столовую мы все вместе ходили. Такая же девочка, как мы были, моя ровесница, по-моему, никакой одеждой она не отличалась. Только если я в гимнастерке ходила, то она в обычном платье… Хотя нет, точно не скажу, — Абакумов на ней женился, потому как потом я встретила ее в Московском управлении. Мужу и жене вместе работать было не положено, вот ее туда и перевели».
В мае 1951 г. Антонина родила Виктору сына.
Первая жена Виктора Семеновича — Татьяна Андреевна (кстати сказать, тоже Смирнова), тяжело переживала, как она думала, очередной роман своего мужа. Но все оказалось гораздо серьезнее.
Молодой министр ушел от нее, оставив все, в том числе и квартиру по Телеграфному переулку. Благо, им не надо было разводиться, так как они прожили вместе долгую жизнь без регистрации брака.
Обиженная Татьяна Андреевна еще в период первых встреч Абакумова с Антониной написала на него письмо, в котором «жаловалась на то, что Виктор Семенович изменяет ей, иногда поколачивает ее, просила, да нет, просто информировала о том, что Абакумов имеет любовную связь со Смирновой А. Н., сотрудницей своего ведомства».
Свою новую «квартиру» — особняк в центре Москвы в тихом Колпачном переулке — Виктор Семенович приглядел случайно. Как-то прогуливаясь в свободное время с адъютантом, следовавшим позади, он увидел дом, который, несмотря на свою запущенность и невзыскательность, ему очень и очень приглянулся. На тот момент в нем ютились целых 16 семей, насчитывающих 50 человек. Известно, что все они вскоре получили отдельные квартиры, что по тем временам (конец сороковых) было истинным чудом!