Когда умерла императрица и на престол вступил ее сын, Павел I, он вызвал Виктора Павловича к себе и сразу назначил его вице-канцлером. Но вскоре император заподозрил Кочубея в заговоре со своим сыном, Александром I, и устроил так, что Кочубей сам попросился в отставку.
В правление Александра I Виктор Павлович Кочубей сделал блестящую карьеру, став министром иностранных, а затем и внутренних дел.
В 1799 году Виктор Павлович женился на Марии Васильевне Васильчиковой. Она являлась родной сестрой известного князя Иллариона Васильчикова. Мария Васильевна обладала тактом и пониманием людей, что было привито воспитывавшей ее родной тетей, Натальей Кирилловной Загряжской, которая, не имея своих детей, почти силой отняла у родителей племянницу.
Нельзя не рассказать о Н. К. Загряжской, которая была одной из оригинальнейших личностей петербургского света первой половины XIX века и своими рассказами оказала воздействие на великого Пушкина. «Она так любила Россию и все русское, что ненавидела память Петра Великого, изуродовавшего, по ее словам, Россию. Она известна была своим острым и бойким умом, своими колкими замечаниями, резкими выходками, при которых она не стеснялась ничьим положением или званием. Ее друзьями и почитателями были все выдающиеся лица ее времени: Потемкин, исполнявший малейшие ее причуды, Шувалов, воспевавший ее в стихах, граф А. С. Строганов, у которого она любовалась его картинами… Сама она много и охотно рассказывала о временах и царствованиях, давно прошедших; рассказы эти слушал Пушкин, увлекавшийся прелестью ее воспоминаний о минувших поколениях и событиях и сохранивший некоторые из них для потомства…» — писал великий князь Николай Михайлович.
Наталья Кирилловна была дальней родственницей жены Пушкина, Натальи Николаевны, и Пушкин часто навещал ее. По словам П. А. Вяземского, «Пушкин заслушивался рассказов Натальи Кирилловны: он ловил при ней отголоски поколений и общества, которые уже сошли с лица земли… некоторые драгоценные частички этих бесед им сохранены». По признаниям самого Пушкина, в образе графини из «Пиковой дамы» много сходства с Натальей Кирилловной.
И кто знает, не от нее ли впервые услышал Пушкин историю Василия Кочубея и гетмана Мазепы?
Наталья Кирилловна была привязана к своей племяннице как к дочери и ни в чем ей не отказывала. Девушка росла в мире искусств, в окружении умных и влиятельных людей. Выйдя замуж за В. П. Кочубея, она сумела создать в своем доме высоконравственную обстановку, в которой выросли ее дети.
У Кочубеев родилось пятеро детей — четыре мальчика: Лев, Василий, Михаил и Сергей и дочь Наталья. Виктор Павлович очень любил свою семью и много времени отдавал детям, стараясь возместить то, что в свое время не получил, воспитываясь без матери, вдали от отца.
Летние месяцы Виктор Павлович вместе с семьей проводил на даче в Царском Селе. Дом Кочубея находился неподалеку от Царскосельского лицея, где в то время учился Пушкин. Единственная дочь всесильного министра, Наталья, произвела сильное впечатление на четырнадцатилетнего Пушкина. Многие исследователи-пушкинисты именно ее считают первой неразделенной любовью великого поэта. Задетый невниманьем Натальи Пушкин писал:
Все знают, что первая любовь не забывается. Пушкин неоднократно в своем творчестве возвращался к образу Натальи. Вересаев, а за ним и некоторые другие литераторы и исследователи писали, что именно Наталью Кочубей имел в виду Пушкин, когда писал о Татьяне Лариной:
В поэме далее имеются слова:
Как известно, Наталья вышла замуж за генерала, графа Строганова. Точно известно, что именно Наталью Викторовну Кочубей и ее отца поэт предполагал вывести главными действующими лицами будущего романа «Русский Пелам». В то время Пушкин часто встречал Наталью Викторовну в свете, она имела огромные связи и «как дочь Кочубея держала блистательную министерскую гостиную».