Жена его, Елена Павловна, принадлежала по рождению к захудалой и обедневшей ветви князей Долгоруковых, разоренной конфискациями при императрице Анне. Непосредственный основатель этой ветви, князь Сергей Григорьевич, тайн. сов., камергер, бывший посол в Польше, участвовал в составлении подложного завещания императора Петра II и казнен в 1738 г. Он был женат на баронессе Марфе Петровне Шафировой, дочери петровского «дельца». Его сын, князь Василий Сергеевич, отставной бригадир из капитанов гвардии (ум. в 1803 г.), был женат на Анастасии Ивановне Ладыженской, дочери Ивана Петровича Л. от брака его с княжной Екатериной Андреевной Ромодановской, последней в роде. Его внук, кн. Павел Васильевич (род. в 1755 г.), отец Елены Павловны, отставной генерал еще при Екатерине II, был замечателен разве только своим долголетнем, – он умер 83 лет. Он был женат с 1789 г. на Генриетте Адольфовне Бандре дю-Плесси из онемеченного французского гугенотского рода, дочери Адольфа Францевича Б.-дю-П. от брака его с Еленой Ивановной Бриземан фон Неттиг. Таким образом, потомство Ю. Ф. Витте через бабушку, княжну «от племени Рюрика», получило новый приток немецкий крови. Елена Павлова Фадеева, по словам ее внучки В. П. Желиховской, в совершенстве знала латинский, итальянский, французский, немецкий и польский языки и вообще обладала солидным и серьезным образованием. Преимущественно она интересовалась естествознанием, в частности ботаникой, орнитологией и минералогией. Вместе с тем она изучала и историю с ее вспомогательными дисциплинами – археологией и нумизматикой. Елена Павловна вела ученую переписку со многими представителями науки, в том числе и с академиком Бэром. Отдаваясь воспитанию и образованию своих детей, она не избегала и общественной деятельности. Ее стараниями в 1843 г. в Саратове основан был детский приют. Она умерла в 1860 г.
Потомство А. М. и Е. П. Фадеевых отличалось своей даровитостью. Их сын Ростислав Андреевич, родившийся в 1824 г., представляет собой слишком известную и крупную личность, чтобы подробно останавливаться на его деятельности. Опытный боевой генерал, он, по общим отзывам, обладал недюжинными военными способностями. Он много и талантливо писал по вопросам военным и внутреннего обновления России. Многие из его произведений получили распространение за границей, где его известность была еще большей, чем на родине. Увлекаясь славянофильскими и панславистскими идеями, он окончательно разошелся с правительством Александра II. Покинув русскую службу, он одно время пробыл в Египте при хедиве Измаиле-паше в качестве организатора и инструктора египетской армии. Окруженный нерасположением и подозрительным отношением царя, недоверием и враждой Милютина и кн. Горчакова, руководителей военной силы и внешней политики России, Ростислав Андреевич был бесцеремонно, в противность общественному мнению, отстранен от участия в турецкой войне 1877–1878 гг. При Александре III, состоя все же на службе, он был окончательно не у дел и умер в 1883 г. Его старшая сестра, Елена Андреевна (род. в 1814 г.) была известная талантливая писательница, произведения которой в 40-х годах гремели на всю Россию и переводились на французский и немецкий языки. Она писала под псевдонимом «Зинаида Р-в». В своих произведениях, проникнутых теплым и гуманным чувством, она впервые изобразила тяжкую долю женщины в дореформенной России и явилась предтечей возникшего впоследствии женского вопроса. После широкой популярности ее сочинения, несмотря на сочувственный отзыв Белинского, подверглись незаслуженному забвению, но новейшая критика после нового их пересмотра отдала должное несомненному таланту «Зинаиды Р-в». Елена Андреевна Ф. была замужем за подполковником Ганом, но в семейной жизни счастьем не пользовалась. Она умерла совсем молодой в 1843 г. Дочери Е. А. Ган унаследовали от нее литературное дарование. Старшая, Елена Петровна (р. 1831 г., ум. 1891 г.), была замужем за эриванским вице-губернатором Блаватским. Помимо литературной известности, как автор талантливых очерков и рассказов из жизни Индостана, она оставила печальную славу в качестве основательницы пресловутого теософического общества и создательницы туманного мистического учения, сопровождаемого нескладными чудесами, но увлекшего за собой многих серьезных людей и в России и за границей. Младшая, Вера Петровна Желиховская (р. 1835 г., ум. 1896 г.), обладала неглубоким литературным талантом, испробовала свои силы в разных отраслях литературы и имела успех. В. П. Желиховская писала для детей и юношества, для народного чтения, напечатала свои воспоминания, сочиняла романы и повести, писала и ставила на сцене театральные пьесы. Таковы были ближайшие родственники С. Ю. Витте с материнской стороны.