После смерти Хераскова хозяином владения стал граф Лев Кириллович Разумовский, перестроивший дом во дворец в стиле классицизма.
С тех пор до сего дня у входа в особняк застыли мраморные львы.
Появление мраморных львов у входа не случайно. Ведь нового хозяина особняка называли в Москве графом Львом, а чаще на французский манер графом Леоном.
Меценат, говорун, масон и организатор всяческих увеселений, Лев Кириллович Разумовский умел весело жить. Он собирал в доме на «четверги» интереснейших людей эпохи, устраивал пышные праздники в своём зимнем саду, тогда ещё большой диковинке для москвичей. Масонство не мешало графу Леону, быть дамским кавалером, умевшим не только красиво ухаживать, но и красиво носить зимой модную меховую муфту «маньку». Но, конечно же, не муфта-«манька» стала причиной удивительного события в жизни Льва Кирилловича.
Граф, генерал-майор, владелец богатейшего состояния влюбился. Причём в замужнюю даму. Лев Кириллович полюбил Марию Григорьевну Голицыну, урождённую княжну Вяземскую – жену князя Александра Николаевича Голицына. Князь Голицын считался самодуром и мотом. Он растратил всё своё состояние.
На одном из балов Мария Григорьевна познакомилась с графом Львом Кирилловичем Разумовским. И они безнадежно влюбились.
Разумовский даже хотел вызвать князя Голицына на дуэль. А затем понял, что вопрос можно решить совершенно иначе. Зная об азартности Александра Николаевича, Лев Кириллович сошёлся с ним за игорным столом. Играли всю ночь. Выигрывая вновь и вновь, граф довел князя до умоисступления. И тогда Лев Кириллович предложил Александру Николаевичу сыграть на его жену, Марию Григорьевну. Сыграть против всего того, что он в ту ночь выиграл у Голицына. Это было беспрецедентно. Не сразу, но Александр Николаевич согласился и поставил на кон княгиню. И снова проиграл.
Лев Кириллович действительно забрал с собой только Марию Григорьевну, оставив весь остальной свой выигрыш Голицыну. Он увёз любимую к себе и с того момента жил с ней, как с женой. Об этой скандальной истории говорили во всех домах обеих столиц. Правда, именно благодаря широкой огласке Мария Григорьевна смогла получить развод и обвенчаться со Львом Кирилловичем.
Но в большом свете графиню Разумовскую не принимали. По неписаным законам, которые, как известно, хуже писаных, так как их сложнее изменить, Мария Григорьевна не могла появляться там, куда могли прийти члены императорской семьи. Считалось, что разведённой и вторично вышедшей замуж женщине не пристало находиться в одном помещении с помазанниками Божьими. Поэтому Разумовские посещали только маленькие семейные праздники.
На один из таких праздников в доме Кочубеев неожиданно прибыл император Александр I. Увидев чету Разумовских, он обратился к Марии Григорьевне как к графине и пригласил её на танец. С того момента свет принял графиню Разумовскую.
Во время войны 1812 года Разумовские уехали в Тамбов. По возвращении они застали дом в полном разорении. В центральной гостиной французские солдаты забивали скот, чем безнадежно испортили наборный паркет и шпалеры. Но граф Лев Кириллович стойко перенёс это бедствие и стал восстанавливать разрушенное. Проект перестройки приписывается Адаму Адамовичу Менеласу, одному из самых загадочных деятелей первой четверти XIX века. После того как были возведены левое и правое крылья, усадьба приобрела строго симметричную композицию со скруглённым парадным двором. Фасад отличала монументальная строгость, характерная для позднего классицизма и ампира. Центр был выделен восьмиколонным дорическим портиком на мощном арочном цоколе. Вынесенные на красную линию улицы боковые флигеля решены в более камерном масштабе. Двор замыкала чугунная ограда с каменными опорами и массивными пилонами ворот, увенчанными стилизованными скульптурами львов.
Дом имел сход в парк в виде широкого пандуса.
В интерьере дома до сих пор сохранились мраморные лестницы с коваными решётками, обрамления дверей в виде порталов, мраморные колонны, плафоны, украшенные живописью и лепниной.
Супруги Разумовские прожили вместе в счастье и согласии шестнадцать лет. Мария Григорьевна пережила супруга почти на полвека. До последних лет жизни она ездила в Париж и на курорты, играла в рулетку, уверяя, что сочетание целебных вод и азарта придаёт ей силы. Она даже успела побывать в первом открывшемся в Монако игорном доме и сыграть в рулетку. Но в карты графиня никогда не играла.
В 1831 году в особняке Разумовских разместился Английский клуб. Английский клуб основан в 1772 году. В конце 1790–х годов закрыт по указу императора Павла I, а в 1802 году, при Александре I, вновь открыт. Первоначально объединял живших в Москве иностранцев, а затем, с конца XVIII века, представителей московской аристократии. Число членов было ограничено (от 300 в начале XIX века – до 500 человек в конце века). Женщины на собрания клуба не допускались, поэтому в нём не давали балов и маскарадов, не устраивали концертов.