Сыновья Ивана Петровича продолжили художественные традиции семьи. Павел Иванович Аргунов (ок. 1768 – 1806) стал архитектором, работал и при перестройках Фонтанного дома, на сооружении Останкинского дворца и других возводимых Шереметевыми сооружений. Николай Иванович Аргунов (1770 – 1828) не менее отца известен как портретист. Яков Иванович Аргунов (1784 – после 1837) также работал как портретист и график. Из этой же семьи происходил Алексей Аргунов – «урный мастер», лепщик и каменщик, создававший вазы для украшения садов и интерьеров домов.
Фонтанный дом дошел до нас не совсем в том виде, какой он получил к 1750-м годам. Процесс строительства дома и его последующих перестроек изучали многие исследователи. В 1928 году большую статью на эту тему опубликовал историк архитектуры Н.Е. Лансере, она и сейчас не потеряла своей научной и познавательной ценности. После Великой Отечественной войны, когда предстояла реставрация пострадавшего в годы блокады здания, историю дома изучал другой историк архитектуры П.Н. Петров. Он является автором исторической справки на дом как на памятник архитектуры XVIII века, написанной по заказу Государственной инспекции по охране памятников. В 1990-х годах эту же тему тщательно разрабатывал историк архитектуры Б.М. Матвеев, он написал историческую справку к проекту реставрации дворца, начавшейся в середине 1990-х годов. В процессе исследования он обнаружил немало важнейших документов, которые уточнили многие факты и открыли новые, прежде неизвестные страницы архитектурной истории Фонтанного дома. Перед началом реставрационных работ 1990-х годов проводились археологические обследования территории сада и самого дома, в результате подтвердились некоторые предположения историков и появились совершенно новые данные.
Итак, Фонтанный дом в середине XVIII века представлял собой каменное двухэтажное здание с мезонином. Центр дома обозначал выступающий вперед ризалит, два боковых флигеля выходили в сад. В целом получилась типичная П-образная объемно-пространственная композиция, характерная для усадебного строительства.
Центральная, наиболее старая часть здания сохранилась до нашего времени. Каменную набережную по Фонтанке в 1750-х годах еще не построили, между рекой и домом существовала ограда, за которой со временем оформился парадный двор. За домом разбили регулярный сад, выходивший к Литейной улице. Сад в сильно урезанном виде существует и в наши дни.
Если объемно-пространственная композиция дома в целом сохранилась, то фасад Фонтанного дома имел другой вид, нежели сегодня, он был декорирован более пышно, в стиле елизаветинского барокко.
Дом имел два входа: с Фонтанки и из сада. В центре фасада, обращенного к реке, располагался в виде аркады выступающий центральный подъезд. Простенки между арками украшали сдвоенные колонны. К входным дверям вели пологие пандусы, украшенные каменными изваяниями сфинксов. Эти сфинксы находились в парадном дворе Фонтанного дома еще в 1920-годах. В центре садового фасада имелся балкон, к которому вели деревянные лестницы – по ним можно было подняться в дом прямо из сада. При входе на лестницу стояли вызолоченные деревянные скульптуры лошадей работы придворного мастера Иоганна Дункера. Во фронтоне помещался герб рода графов Шереметевых. Возможно, герб был сделан и позже, поскольку официально русские дворянские гербы утверждались императором Павлом I. На карнизах здания были установлены деревянные скульптуры. О первоначальном виде дома свидетельствуют чертежи обоих фасадов конца XVIII столетия, зафиксировавшие его облик перед перестройкой, предпринятой следующим владельцем Фонтанного дома.
О том, какую планировку имел дом, мы узнали из чертежа, обнаруженного сравнительно недавно в фондах Останкинского дворца-музея. Этот чертеж зафиксировал планировку главного второго этажа Фонтанного дома накануне перестройки в конце XVIII – начале XIX веков.
Деревянная Парадная лестница находилась в центре здания. Парадная анфилада состояла из восьми комнат, обращенных окнами в сад: «Плитошная» комната; Красная гостиная, или Предплиточная; Картинная; Конторка; Проходная; «Прихожая, обитая кожей»; Малиновая, или Предспальня, и Парадная спальня. Со стороны Фонтанки в ризалите находились еще несколько комнат: к северу от Парадной лестницы – Прихожая Зеленая палата, или Первый нумер; Второй нумер и большая угловая комната с девятью окнами – Галерея. По другую сторону Парадной лестницы находилась Наугольная и еще одна Малиновая комната со стенами, обтянутыми штофом. В северном флигеле существовали Танцевальный зал (позднее названный Старой залой), Столовая, Буфетная и Бильярдная. Из названия некоторых помещений легко догадаться, какие декоративные приемы и материалы использовал архитектор. Образцом служило, безусловно, убранство императорских дворцов.