Административная деятельность З. Г. Чернышева оставила заметный след в истории планировки и застройки Москвы. Хотя указ Екатерины II о сносе стен Белого города последовал еще в 1764 году, а указ о разбивке на их месте бульваров (нынешнее кольцо "А") был издан в 1775-м, только З. Г. Чернышев по-настоящему взялся за проведение его в жизнь. При нем разбивается первый участок бульварного кольца – от Никитских до Петровских ворот, начинает приводиться в порядок Земляной город (кольцо "Б") – благоустраивается отрезок длиной в 2 версты 180 сажен от Триумфальной площади до Спиридоновки. По улицам и переулкам устанавливается 989 фонарей (всего их предполагалось в городе 3500). Население Москвы в это время, согласно докладу Чернышева, составляло 125 362 человека. При поддержке главнокомандующего составляются проектные планы строений в уездных городах. В самой столице ведется починка башен и стен Китай-города.
Тверская улица. Автолитография с оригинала А. Кадоля. Первая четверть XIX в.
Особые трудности представляла нехватка строительных материалов, в частности кирпича и черепицы, которую архитекторы предпочитали остальным видам кровельных покрытий. Несмотря на растущий спрос, число кирпичных заводов сокращалось. Если в 1753 году их насчитывалось в Москве семьдесят три, то в 1760-м тридцать семь, а в 1774-м и вовсе тридцать, вырабатывавших в год около 30 миллионов штук кирпича. Любопытно, что больше половины из них располагались за Калужскими воротами, пять за Пречистенскими. Отдельные администраторы тех лет объясняли подобное сокращение попыткой государства подчинить кирпичное производство своим планам и установить контроль цен. Существенной помощью в этом трудном для Москвы положении становится разборка стен Белого города, материал которых идет на строительство казенных зданий, в том числе Воспитательного дома (ныне Военная академия им. Ф. Э. Дзержинского), ремонт Арсенала Кремля. Пользуется этим материалом для своего дома и З. Г. Чернышев.
Со смертью З. Г. Чернышева в 1784 году его дом был приобретен казной и стал использоваться как казенная квартира генерал-губернаторов. В «Плане столичного города Москвы», составленном Марченковым и изданном Кольчугиным в 1789 году, он так и значится под номером 75 как «Дом главнокомандующих».
В 1790 году очередной московский главнокомандующий генерал-фельдмаршал А. А. Прозоровский получает разрешение на разбивку перед домом площадки для установления на ней «щита» – флага, около которого предполагалось производить несколько раз в день церемонию смены воинского караула. Соответственно, был приобретен казной и снесен лежавший по другую сторону улицы двор Долгоруковых. Образовавшийся плац получил название Тверской площади, ранее применявшееся к Триумфальной площади. Проект архитектурного оформления новой площади принадлежал М. Ф. Казакову, но остался неосуществленным из-за финансовых затруднений, которые переживало русское государство в связи с турецкой войной.
Усилиями А. А. Прозоровского, способного военачальника, участвовавшего в присоединении к России Крыма, а с 1808 года состоявшего главнокомандующим русской армией, действовавшей против турок, предпринимается строительство набережной Москвы-реки от устья Неглинной до устья Яузы, иначе говоря, от Каменного до Устьинского моста, причем вдоль кремлевской стены высаживаются два ряда деревьев, начинается сооружение огромного Гостиного двора в Китай-городе между Ильинкой и Варваркой.
В момент вступления в Москву наполеоновских войск дом генерал-губернатора оказывается одним из очагов сопротивления захватчикам. В его дворе французская часть была встречена стрельбой укрывшихся там дюжих молодцов, вооруженных ружьями и кольями, как вспоминал впоследствии один из наполеоновских солдат. Пожар 1812 года не затронул дома. По словам современника, «Тверская от Тверских ворот до дома Главнокомандующего по обеим сторонам вся цела, а потом... до Моховой вся выгорела по обеим сторонам». Зато отстраивалась улица на редкость быстро. Созданная в целях организованного восстановления города Комиссия для строений, предложившая перепланировку многих московских площадей, Тверскую решила оставить нетронутой. Через двадцать с небольшим лет писатель П. Ф. Вистенгоф сможет с полным основанием сказать: «Тверская – главная московская улица, идущая от Петербургской заставы к Тверским воротам (Китай-города); здесь находятся лучшие гостиницы для приезжающих, магазины, кондитерские лавки, множество красиво отстроенных домов и дом московского военного генерал-губернатора... Вот места, где наиболее проявляется народное движение».