Пашкову показалось мало заказать проект у самого Баженова, рядом со своим дворцом он еще разбил парк, естественно, на аглицкий манер, устроил зоосад с фонтанами. Украшением сада был прекрасный пруд, выстланный камнем. По пруду плавали лебеди, в саду расхаживали журавли, павлины, бегали кролики. Москвичи специально приходили к ограде дворца, чтобы поглазеть на диковинку. Был среди них и маленький Петя Вяземский: «На горе, отличающийся самобытной архитектурою, красивый и величавый, с бельведером, с садом на улицу, а в саду фонтаны, пруды, лебеди, павлины и заморские птицы; по праздникам играл в саду домашний оркестр. Как, бывало, ни идешь мимо дома, так и прильнешь к железной решетке; глазеешь и любуешься; и всегда решетка унизана детьми и простым народом».
Да что там свои! Иноземцы приезжали и изумлялись, глядя на это диво-дивное. Немецкий путешественник Иоганн Рихтер, посетивший Москву в конце XVIII века, писал: «В многолюдной части города, на Моховой, недалеко от Кремлевского моста, на обширном холме возвышается волшебный замок… В глубине видишь дворец… Два входа ведут в верхний этаж и на просторную вышку в куполе, с которой открывается прелестнейший вид на Москву. Дом состоит из главного здания и двух флигелей, соединяющихся с ним галереями. В середине сделан выступ с громадными сводчатыми окнами и двумя парадными выходами в сад. В первом этаже этот выступ образует балкон, покоящийся на тосканских колоннах. На одной стороне балкона стоит богиня Флора, на другой – Церера. Вверху купол оканчивается бельведером, окруженным двойными колоннами. Рядом красивых колонн украшены также и флигеля. И все это образчик эвритмии и симметрии. На самых возвышенных пунктах пред домом красуются две колоссальные статуи Минервы и Марса, принадлежащие, как и прочие фигуры, к лучшим произведениям резца. Внизу два каменных бассейна с фонтанами в средине. От улицы дом отделяется решеткою чудного узора. Сад, как и пруд, кишит иноземными редкими птицами. Трудно описать впечатление, производимое домом при освещении…»
Денег у откупщика Пашкова было много, а вот детей Бог не дал. Умер хозяин «волшебного замка» бездетным. Жена ненадолго пережила его, и все наследство отошло к его двоюродному брату А.И. Пашкову, который расширил и еще более украсил дом. С 1831 года последней владелицей дома была внучка брата, по мужу Д.А. Полтавцева. К этому времени журавли разлетелись, иссякли фонтаны, а здание представляло печальную картину: «Не спешите ныне к сему дому, вы увидите все в жалком состоянии. Огромный дом ныне только что не развалины, окошки забиты досками, сад порос мохом и густою травою», – ну вовсе как в недавнее время! От пущего разорения дом спас Московский университет, прикупив его в 1839 году для своего дворянского института. Для этих целей в 1841 году здание было подвергнуто перестройке по проекту архитекторов А.В. Никитина и И.И. Свиязева. А с 1852 года здесь была 4-я московская гимназия.
До сих пор бытует легенда, что первый бал Наташи Ростовой прошел в интерьерах парадного зала Пашкова дома – и хотя подтверждения сему нет, ибо и сам роскошный зал появился здесь уже после восстановления в 1818 году, версия эта, согласитесь, красивая, как и сам Пашков дом, по праву называемый сегодня жемчужиной Москвы.
Рассказав о Пашкове доме, было бы нелогичным не рассказать о той причине, по которой любимый Львом Николаевичем музей носил название Румянцевского или, как писали в его эпоху, «Румянцовского», через букву «о». В 1861 году, более полутора веков назад, Пашков дом приютил у себя богатейшую коллекцию графа Николая Петровича Румянцева – рукописное, этнографическое, нумизматическое и книжное собрания. Сам Николай Румянцев, именем которого Александр II повелел назвать первый общедоступный музей Москвы, родился почти за сто лет до его основания – в 1754 году и был вторым сыном знаменитого екатерининского полководца и фельдмаршала П.А. Румянцева-Задунайского, хозяина близлежащего к Моховой улице дворца на Волхонке.
Николай Румянцев верой и правдой служил Романовым и Российскому государству еще со времен Екатерины II. Образование он получил в Лейденском университете, посетив немало европейских стран. Основных успехов добился на дипломатическом поприще, дослужившись до должности канцлера и министра иностранных дел Российской империи. Ревностно отстаивая интересы Отечества, граф не упускал случая вступить в резкий спор с тем или иным заморским дипломатом, если тот задевал честь и достоинство России.