Однажды императрица, гуляя со своими приближенными и не видя на лугу перед дворцом ни одного деревца, сказала: «Очень бы приятно было гулять здесь, ежели бы тут была роща: в тени ее можно было бы укрыться от зноя». Несколько дней спустя было назначено во дворце особенное торжество по случаю какой-то победы. Императрица, встав утром рано и по обыкновению подойдя к окну, чтобы посмотреть на погоду, была поражена: перед глазами ее стояла обширная роща из старых деревьев. Изумленная царица потребовала объяснения этого чуда, и ей доложили, что ее придворные, которым она несколько дней тому назад, гуляя по лугу, выразила свое желание иметь здесь рощу, воспользовались мыслью государыни и тогда же вечером разбили луг на участки, и каждый, кому какой достался по жребию участок, со своими слугами в одну ночь насадил его отборными деревьями. Говорят, что здесь были долго деревья, на которых можно было видеть имена придворных, которые их сажали.
По другому преданию, роща была будто бы насажена еще самим Петром Великим и что государь здесь лично делал окопы; место же под сад взято у Лефорта. В сад этот были выписаны всяких родов деревья из Персии; но все они от недостаточного присмотра погибли в дороге, не прибыв еще в Москву. Из отчетов садовника Дениса Брокета видно, что для этого сада часто покупали у жителей Немецкой слободы тюльпаны, нарциссы, лилии и другие цветочные и луковичные растения. Из производства Интендантской конторы, в которой состояли Анненгофский сад и дворец, видно, что ежегодно на содержание сада и устройство его отпускаема была сумма в 30 тысяч рублей. Заведовали ими обер-гофмейстер С. А. Салтыков и обер-архитектор Растрелли. Кроме того, ближайшим смотрителем над строениями Анненгофского сада был архитектор Петр Гейден. В Анненгофском саду кроме главного садовника находился смотритель из военных. Таковым был в 1741 году подпрапорщик Афанасий Федоров с жалованьем по 1 рублю в месяц. При саде состояли ученики, получавшие в треть жалованья 5 рублей. Они носили серые кафтаны, красные камзолы, козлиные штаны.
Сад был весьма обширен. В каких размерах здесь были устроены оранжереи, можно заключить из того, что на отопление их отпускалось ежемесячно 45 саженей дров. В саду было 9 прудов с рыбой и несколько беседок; там же стояли каменные статуи Венеры, Самсона, золоченые сфинксы и проч. Вскоре после кончины Анны Ивановны деревянный дворец сгорел. П. С. Валуев, бывший президент Кремлевской экспедиции, устроил на фундаменте этого дворца галерею и беседку. В 20-х годах XIX столетия здесь было самое модное московское гулянье.
Вступив на престол, императрица Елизавета Петровна приказала невдалеке от старого дворца построить новый, тоже деревянный. Торжественно въехав в Москву для коронования, императрица остановилась в новом Анненгофском дворце, оставалась тут почти до дня совершения обряда, после которого спустя несколько дней снова отправилась церемониально всем двором из Кремля в Анненгоф. Здесь был 1 мая 1742 года большой коронационный обед, торжественные аудиенции иноземных послов и сюда же 19 сентября были поставлены шведские трофеи, присланные фельдмаршалом Ласси из Финляндии и с триумфом провезенные по московским улицам.