В 1774 г., во время празднования победы над Турцией, голицынский особняк был приспособлен для пребывания в нем Екатерины II и ее двора, так же как и соседние дома Долгорукова (Волхонка, 16) и Лопухина (Малый Знаменский, 3), а между ними, на том месте, которое сейчас занято бензоколонкой для правительственных автомобилей, построили по проекту М.Ф. Казакова обширный деревянный дворец с большим – площадью около 775 квадратных метров – двухсветным тронным залом. Писатель и ученый А.Т. Болотов вспоминал, что, «несмотря на всю стужу и зимнее тогдашнее время, производилось строение сие с великим поспешением, и тысячи рук занимались оным денно и ночно». Церковь при дворце освятили 16 декабря 1774 г. во имя св. Андрея Печерского, а 31 декабря 1774 г. (очевидно, был дан приказ закончить обязательно в этом году, прямо как в «благословенные» советские времена) начальник Кремлевской экспедиции М.М. Измайлов рапортовал об окончании строительства. Английский путешественник Уильям Кокс, побывавший в то время в Москве, отмечал, что «здание, сооруженное с быстротой молнии, оказалось столь красиво и удобно, что материал, из которого оно сооружено, был употреблен впоследствии на постройку императорского загородного дворца, стоящего на небольшой возвышенности в окрестностях города», – речь идет о дворце на Воробьевых горах. Однако Екатерина осталась недовольна казаковской постройкой – она писала барону Гримму: «Вы желаете иметь план дома, где я живу. Я вам его пришлю, но опознаться в этом лабиринте премудреная задача: прошло часа два, прежде чем я узнала дорогу к себе в кабинет, беспрестанно попадая не в ту дверь. Выходных дверей многое множество, я в жизнь мою столько не видала их. С полдюжины заделано по моему указанию, и все-таки их вдвое больше, чем нужно».