Уникальность этого дворца в том, что, созданный выдающимся русским архитектором Саввой Ивановичем Чевакинским, он связан с именем не менее выдающегося русского мецената и просветителя Ивана Ивановича Шувалова. Памятник архитектуры стал памятником и архитектору, и первому владельцу дворца.
Дворец И.И. Шувалова современники оценивали как выдающееся сооружение. Савва Чевакинский точно нашёл пропорции и здания, и деталей фасада.
Во дворце находилась собранная Шуваловым картинная галерея.
Дворец посещали самые известные люди того времени. Нередко у Ивана Ивановича гостил Михаил Васильевич Ломоносов. Именно здесь Шувалов и Ломоносов обсуждали планы создания Московского университета. Дворец принял первых учеников только что созданной Академии художеств. До постройки здания академии на Васильевском острове её студенты обучались в Шуваловском дворце.
Дворец был знаменит своими балами и маскарадами. Первый из них прошёл ещё в недостроенном здании в сентябре 1754 года. Торжество состоялось по поводу рождения великого князя Павла Петровича, будущего императора Павла I. Рождение наследника российского престола Павла Петровича великой княгиней Екатериной Алексеевной было отпраздновано Елизаветой I у Шувалова «роскошным балом-маскарадом». Вот что вспоминали очевидцы: «Большая зала вся была уставлена тропическими растениями и походила на сад. В буфете блистали золотые и серебряные сосуды и фарфоровые сервизы. Но особенное удивление вызывал грот, где поставлен был стол для императрицы и великого князя. Все стены грота были украшены гроздьями винограда. Из-за шпалер виноградника выставлялись камни разных горных пород, отражавшие блеск огней. Между кристаллами стояли античные бронзовые и мраморные бюсты, из-под которых били фонтаны дорогих вин».
Позднее жителям Петербурга дворец Шувалова был известен как «генерал-прокурорский дом». При новом владельце, генерал-прокуроре Александре
Алексеевиче Вяземском, дворец был частично перестроен. Его фасады приобрели черты, характерные для раннего классицизма. Дворовый фасад при этом не переделывался. В одном из флигелей разместилась екатерининская Тайная экспедиция.
В 1797 году при императоре Павле I Петровиче дворец купили в казну, и в дальнейшем, до 1917 года, он принадлежал Министерству юстиции.
Существует предание о том, что особое отношение к Шуваловскому дворцу и его хозяину император Павел I хранил всю жизнь. Ведь он знал, что именно в этом дворце и на средства хозяина было отмечено его появление на свет. Согласно петербургскому преданию, «на другой день после кончины Шувалова, проезжая мимо дворца верхом, император Павел Петрович остановился, снял шляпу, поглядел на окна и низко поклонился».
Но легенда, живущая среди горожан, связывает Шуваловский дворец с другой историей.
Ещё во время работы над проектом дворца, к огромному своему изумлению, зодчий и мастеровые обнаруживали, что в чертежи самым невероятным образом закрадывались нелепейшие ошибки и просчёты. Порой некоторые листы просто исчезали, а спустя время вновь появлялись. Но уже с какими-то непонятными пометами. Всё это придавало ненужную нервозность и вносило некоторую сумятицу.
О странных событиях в конце концов доложили графу. Хотя Иван Иванович и не придал никакого значения тревогам строителей, но повелел отслужить молебен на месте закладки дворца. Что и было сделано.
Однако эти меры не дали желаемого результата. На чертежах продолжали сами собой появляться кляксы, а новая штукатурка на стенах вспухала. Мало того, якобы новоселье в 1755 году было омрачено неприятнейшим инцидентом. По воспоминаниям очевидца, в Большом зале во время празднования внезапно рухнула тяжёлая бронзовая люстра, лишь по счастливой случайности не причинив никому вреда.
Известный в своё время поэт Ермил Иванович Костров, первый русский переводчик великого Гомера, в своих записках отмечал, что в гостях у своего лучшего друга, графа Шувалова, он постоянно видит… «чёртика с рожками», какого-то «проказника», который корчит ему «изрядно потешные мины».
Так, с лёгкой руки Ермила Ивановича, появилось выражение «графский проказник».
По Петербургу ходило множество сплетен о происхождении «графского проказника». Версии были разные. Одни утверждали, что чёртик был подарен Шувалову в Швейцарии, где граф гостил до постройки дворца. Другие уверяли, что рогатый был втайне подброшен в багаж графа и таким образом доставлен в Северную столицу. Третьи доказывали, что «проказник» сам проник в багаж графа, когда тот путешествовал по Европе. Но все сходились на том, что происхождение нечистого – иноземное.
Конечно, были те, кто не верил в существование посланника преисподней. Хотя их неверие лишь подтверждало старую истину: главная заслуга сатаны в том, что сумел убедить многих, будто он не существует.