После Мещерских особняк находился во владении графа Салтыкова, затем князя Багратиона, а позже князя Ржевского, который перед самой войной 1812 года продал его князю Долгорукому. После опустошительного наполеоновского пожара, сильно повредившего большинство построек, князь был вынужден продать усадьбу капитану лейб-гвардии Семеновского полка Николаю Волкову. Новый хозяин привел в порядок купленную усадьбу, отремонтировал дом, пристроил к парадному крыльцу портик с колоннами, украсил фасад лепным фризом с античными музами в тогах, а потолки изящной лепниной. Старинные палаты были перестроены в роскошный особняк в модном стиле ампир.
По одной из версий, здесь, у своих московских родственников, гостила Мария Волкова, фрейлина императрицы Марии Федоровны. Ее переписку о войне 1812 использовал Л.Н. Толстой для романа «Война и мир». До конца 1840-х гг. в этой усадьбе жил артист Малого театра И. В. Самарин — его отец был крепостным Волковых. Напротив барского дома был разбит огород с грядками капусты, моркови, и прочих овощей, который возделывала многочисленная прислуга, как для себя, так и для продажи.
Портрет генерал-адъютанта графа Арсения Андреевича Закревского
Дом был одновременно изящен и представителен. Настолько, что приглянулся графине А. Ф. Закревской, жене московского генерал-губернатора графа Арсения Андреевича Закревского, одного из самых противоречивых генерал-губернаторов Москвы. Участник Отечественной войны 1812 года, генерал от инфантерии граф в сражении при Аустерлице спас от плена своего командира А.П. Ермолова. В Бородинском сражении — М.Б. Барклая-де-Толли. Всю войну 1812 г. Закревский состоял при главнокомандующем, а во время заграничных походов русской армии неотлучно находился при императоре, став одним из ближайших к нему генерал-адъютантов. За мужество и храбрость он удостоился боевой шпаги, высших российских орденов и медалей.
Император Николай I в 1848 году, назначив Закревского генерал-губернатором Москвы вместо либерального князя Алексея Щербатова, в напутствие сказал ему: «Надеюсь, что ты подтянешь распустившуюся Москву». Доверие к нему было столь велико, что Николай I снабдил губернатора бланками со своей подписью, по которым Закревский мог принимать окончательно самые решительные меры. Достаточно было вписать в этот бланк любое имя, чтобы несчастный без суда и следствия отправлялся в Сибирь. Но Закревский не воспользовался этими бланками, при отставке все бланки возвращены в целости. Генерал-губернатора боялись, особенно купцы и предприниматели. Он говорил им «ты» и ругался страшно, часто изымал нажитые жульнически деньги и предметы. Сам не беря взяток, Закревский решительно боролся со взяточничеством московских полицейских и гражданских чиновников. Однако, пресекая взятки, сам обложил купцов неслыханными поборами на нужды города, поскольку в городском бюджете денег всегда не хватало.
Новый градоначальник «сильной рукой» «подтянул» Москву так, что все «взвыли». За короткое время он успел поссориться и с дворянством, и с купечеством, и с местным самоуправлением, опутать всю Москву сетью шпионства и доносительства. По словам современников, лакейство перед ним доходило до отвращения
Облик и манеры Закревского были столь же характерны, как и его натура. Фигура — полная, осанистая. Лицо гладко выбритое; характерный профиль римского типа, с брезгливо выпяченной нижней губой. И, наконец, поразительная прическа: Закревский имел «чело, как череп голый», однако на самом затылке он каким-то чудом сохранил единственную прядь волос. Эта длинная прядь ежедневно завивалась парикмахером, и конец ее, завитый колечком, каким-то образом укреплялся на самой макушке.
В 1850 году император Николай I знакомился с делами древней столицы, остался доволен осмотром и что-то сказал о святости города. Известный острослов князь Меншиков, будучи в свите царя, на это замечание ответил: «Москва действительно святая. А с тех пор, как ею управлял граф Закревский, она еще и великомученица». Остроумные москвичи изощрялись в стихосложении:
Одиннадцать лет Закревский был хозяином Москвы, и все эти годы первопрестольная страдала от капризов и самоуправства графа. По словам московского купца Найденова, «Закревский был тип какого-то азиатского хана или китайского наместника. Самодурству и властолюбию его не было меры, он не терпел, если кто-либо ссылался на закон, с которым не согласовывались его распоряжения. «Я — закон», — говорил он в подобных случаях». Патриархальная и добродушная Москва от методов жесткого на немецкий манер Закревского пришла в тихий ужас и прозвала деспотичного губернатора — «Чурбан — паша».