Как и пророчила пожилая императрица, счастливой жнзни у молодоженов не вышло. Графа томила тоска по утраченному положению, его раздражительность и бесконечные придирки доконали жену и свели самого в могилу в расцвете лет. Дарья Федоровна умерла раньше, в 1801 году. Любопытно, знала ли она, что ее родной дед по матери воспитывался в Дубровицах, хозяйкой которых она стала? Дарья Федоровна была дочерью Марии Александровны Щербатовой, урожденной Черкасской – дочери погибшего в Хиве Александра Бековича. Родной бабкой ей приходилась утонувшая в Волге Марфа Борисовна – дочь устроителя Дубровиц, знаменитого Б. А. Голицына.
У Дмитриевых-Мамоновых родились в Москве сын Матвей Александрович и дочь Мария Александровна. Их воспитанию и посвятил последние годы жнзни отставной фаворит. Мемуарист П. Г. Кичеев, отец которого служил у графа домашним учителем, отмечал, что при детях Александра Матвеевича находилось множество других учителей, среди них и некая мадам Ришелье, специально выписанная из Франции.
В быту отставной фаворит держал себя с достоинством. «К гордости графа относили и то,- отмечал Кичеев,- что во время семейных праздников в Дубровицах. Подольского уезда Московской губернии, граф надевал парадный мундир с бриллиантовыми эполетами и все имевшиеся у него регалии».
После смерти Екатерины по указу Павла I Александру Матвеевичу пожаловано было графское достоинство Российской империи и его род был включен с этим титулом в родословные книги. Дальние родственники, носившие ту же фамилию, титула так и не получили.
В ту пору, очевидно, принялся Александр Матвеевич перестраивать усадебный дворец и парадные северные флигели. В соответствии с модой старое голицынское строение было увенчано фронтонами. При этом средняя часть здания, надстроенная третьим полуэтажом, оказалась выше фронтонов боковых ризалитов. Верхний невысокий этаж получил несколько необычные для классицизма полуциркульные окна под карнизом фронтона. Простенки между ними заняли коринфские капители пущенных на всю высоту здания пилястр.
Ризалиты тоже были украшены пилястрами с ионическими капителями. Во фронтонах и над окнами появились скромные декоративные вставки в виде веночков и лент. Южные выступы здания соединила лоджия с шестью упрощенными дорическими колоннами, поддерживающими одновременно балкон над главным входом. На крыльце установлены были мраморные львы. Подобные им фигуры венчали пилоны теперь уже не существующих передних и боковых ворот парадного двора. Ограда изящного рисунка, позже разобранная вместе с воротами, примыкала к флигелям.
Неизвестный архитектор тогда же пристроил к торцам главного здания открытые (позже они были закрыты и остеклены) широкие террасы. Наиболее эффектной их частью стали торцевые белокаменные крыльца с циркульными лестницами. Серьезной реконструкции подвергся я северный фасад дворца, обращенный к Десне. По центру здания была возведена открытая полуротонда из десяти колонн. На поддерживаемый колоннами широкий полукруглый балкон второго этажа вели двери из парадного зала. Мощная колоннада смущала своей грубоватостью многих ревнителей строгого классицизма. «Курьезной отсебятиной архитектора» назвал полуротонду усадебного дворца в Дубровицах автор одной из старых брошюр, отметив, что колонны чрезмерно толсты и не имеют, как положено, капителей (этот недостаток был не менее курьезно устранен при современной реставрации сооружения, и новые капители оказались там, где им надлежало быть столетием раньше).
Критика архитектурных достоинств дворца, конечно, не лишена смысла. Ее можно расценить, как упрек в безвкусице, адресованный прежде всего тем, кто «заказывал музыку». Думается, это не совсем справедливо. Надо принять во внимание, что начатые с размахом и на должном уровне строительные работы могли остаться после смерти фаворита незавершенными. Переделку дворца мог приостановить его отец, прижимистый Матвей Васильевич, остававшийся жить в усадьбе. Не исключено, что окончательная отделка была поручена им крепостным мастерам, не искушенным в строгих ордерных правилах.
Последние дни жизни граф Александр Матвеевич был озабочен будущим своего сына, которого объявил наследником всего состояния и законным владельцем Дубровиц по вступлении в совершеннолетие. Отставной фаворит скончался внезапно, так и не познав старости, в 1803 году. Его похоронили рядом с женой в некрополе Донского монастыря.
Юному графу Матвею Александровичу исполнилось в ту пору тринадцать лет.
Несчастный счастливец
После смерти родителей воспитанием наследника- графа Матвея Александровича Дмитриева-Мамонова- занялся его дед сенатор Матвей Васильевич. При Павле он вышел в отставку и поселился в поместье. Скаредный и малообразованный, по воспоминаниям современников, он тем не менее дал внуку хорошее воспитание. Известно, что графа Матвея Александровича обучали в училище аббата Николя вместе с отпрысками многих русских аристократических фамилий.