Через десять лет, в феврале 1793 г., перед отъездом в Петербург, Баженовы продают этот участок обер-секретарю Межевой канцелярии Михаилу Алексеевичу Замятнину за 12,5 тысячи рублей, а в 1803 г. опека над малолетним сыном Замятнина продала усадьбу Аграфене Петровне, жене генерал-майора Павла Михайловича Глазова, совершившего достойную военную карьеру, начатую им простым рейтаром (конником); со временем он был награжден Георгиевским крестом и получил генеральский чин. В Москве в 1790–1793 гг. он был обер-полицмейстером. Фамилия Глазовых оказалась занесенной в память московских названий – Глазовский переулок назван по угловой со Смоленским бульваром усадьбе, принадлежавшей Аграфене Глазовой. В 1809 г. она продает дом на Софийской набережной купцу первой гильдии Никифору Логиновичу Старикову за 30 тысяч рублей. Тогда в усадьбе с отступом от красной линии стоял каменный двухэтажный дом, отделанный рустом, с широко расставленными шестью ионическими колоннами портика, несущими фронтон с лепными украшениями. Справа от него находился деревянный флигель с бельведером. На панораме середины XIX столетия дом этот уже перестроен: колонны исчезли, вместо них на втором этаже балкон, да и в целом декор стал значительно более скромным; справа и слева от главного здания во всю глубину участка протягиваются длинные флигели.
В середине XIX в. усадьба принадлежала купцу Николаю Никифоровичу Старикову, у которого здесь же была и лавка; от него владение перешло к купцу первой гильдии А.М. Тарасову; а от него – к Ивану Герасимовичу Харитоненко, обычно жившему в Украине, в городе Сумы, но нуждавшемуся в московском доме, где можно было бы поместить и контору, и склад.
И.Г. Харитоненко вышел из казенных крестьян, всего он добился своим трудом, предприимчивостью, честностью и энергией. Он служил в лавке, стал конторщиком, потом брал на комиссию товар на ярмарках и постепенно специализировался на торговле и доставке сахара. Всю прибыль он вкладывал в приобретение земли и сахарных заводов и благодаря умелому управлению сделался обладателем громадного состояния: ему принадлежали более 60 тысяч десятин земли и восемь сахарных заводов, на которых работали более 4 тысяч человек.
Не получив в детстве достаточного образования, Харитоненко всю жизнь занимался самообразованием. Характерно, что он 56 лет от роду начал обучаться французскому языку и впоследствии мог читать и говорить по-французски. Как вспоминал архиепископ Харьковский Амвросий, «в беседе с ним всегда приятно было видеть, как живо работает его ум, и слышать его свободную и одушевленную речь».
И.Г. Харитоненко прославился благотворительностью – жертвовал десятки и сотни тысяч рублей на самые разные цели: детский приют, студенческое общежитие, постройку церкви, благоустройство родного города, стипендии учащимся, содержание священнослужителей, на его заводах обязательно строились школы, аптеки и больницы, оказывалась бесплатная медицинская помощь не только рабочим, но и жителям окрестных сел.
И.Г. Харитоненко скончался на 71-м году, его тело провожали более 15 тысяч скорбящих, а могилу покрыли две сотни венков. Надо отметить, что о нем, в числе очень немногих представителей русских предпринимателей, было написано в энциклопедии Брокгауза и Ефрона и в Русском биографическом словаре.
Его единственный сын Павел еще более расширил отцовское предприятие. Он внимательно следил за последними техническими новинками и внедрял их на своих заводах, организовывал научные семинары, профессионально занимался агрономией, устраивал опытные поля. В признание заслуг он с семейством получил право на потомственное дворянство и для дворянского герба выбрал знаменательный девиз «Трудом возвеличиваюсь».
П.И. Харитоненко окончательно переехал в Москву и на месте склада и контор решил построить соответствующий его состоянию и положению особняк. Проект он заказал в 1891 г. архитектору В.Г. Залесскому, а оформление интерьеров декоратору Ф.О. Шехтелю (впоследствии он, уже признанным мастером московского модерна, стал автором павильона Харитоненко на Парижской выставке 1900 г.). В 1893 г. строительство особняка на Софийской набережной закончили. Композиция его построена по образцу классических усадеб с главным домом в глубине участка и выдвинутыми на красную линию набережной флигелями, соединенными лентой эффектной решеткой с двумя воротами, на столбах которых старинные таблички с номером здания и именем владельца. Здания покрыты красивым лепным декором, среди которого заметны – необычная деталь – мужские бюсты, принадлежность которых, как я ни старался определить, осталась неизвестной.