Богатая анфилада комнат дома Шувалова была вся увешана портретами и картинами. В главной зале, выходящей окнами на Невский, сидели у дверей за столиком два старика, вечно играя в пикет; один из них был огромного роста, другой – низенький старичок в черном кафтане; первый был гайдук-силач, спасший Шувалову жизнь в Швейцарии, другой – камердинер, француз Бернар. Оба старика жили на пенсии и ежедневно безотлучно дежурили в картинной зале. Как раз над их головами висела большая картина с изображением печального эпизода из жизни Шувалова, чуть-чуть не стоившего ему жизни. На картине был представлен швейцарский пейзаж, где на высоте большой горы виднелась повисшая над пропастью карета, которую поддерживает своими плечами огромный гайдук. В светлой угловой комнате о семи окнах, в большом кресле у столика, окруженный книгами и друзьями, сидел маститый седой старик, сухощавый, среднего роста, в светло-сером кафтане и белом камзоле. Видевший Шувалова уже семидесятилетним старцем, Тимковский говорил о нем так: «Речью и видом он был бодр, но слаб ногами, лицо у него было всегда спокойное, поднятое; обращение со всеми упредительное, весело-видное, добродушное. В разговорах он имел речь светлую, быструю, без всяких приголосков. Русский язык его был с красивою обделкою в тонкостях и тонах, французский он употреблял, где его вводили и когда, по предмету, хотел что сильнее выразить».
В этой угловой гостиной у него собирались образованнейшие люди того времени: Ломоносов, Сумароков, Костров, Богданович, Державин, Шишков, княгиня Дашкова, Оленин, Перепечин (известный тоже меценат, директор банка), Кирилло Каменецкий (его домашний врач), автор знаменитого в свое время «Травника». Из гостиной боковой выход вел в кабинет, оттуда шли его жилые комнаты окнами на двор, прямо же вдоль Садовой улицы шла длинная галерея с библиотекою, а за ней и домовая церковь, в которой сановитого вида дьячок читал малороссийскою речью. Шувалов в церкви по большей части сидел в креслах с подостланным ковром; вельможа имел привычку во время разговоров задумываться и креститься у груди небольшим крестом. Это была его давнишняя привычка, которую он приобрел, живя в век вольнодумства. Дом Шувалова видел многих монархов. Императрица Елисавета в течение года очень часто у него обедала и ужинала; сюда же, в дом Шувалова, привозили в 1756 году бывшего императора Ивана Антоновича для свидания с императрицею. Здесь же почти ежедневным гостем был император Петр III, и позднее очень часто приезжала Екатерина Великая. Перед этим же домом на другой день кончины Шувалова, проезжая мимо верхом, император Павел остановился, снял шляпу, поглядел на окна и низко поклонился.
У Шувалова собирались все литераторы того времени. В юной возникавшей тогда журналистике происходили такие же споры, что и теперь, каждый превозносил себя, и каждое издание хотело превзойти остальные и стать во главе всех. Полемика, зависть, даже личные, не совсем церемонные намеки так и сыпались перекрестным журнальным огнем и при встрече пишущих. Ловля подписчиков в то время происходила самым комическим образом: особенно рьяные журналисты раздавали даром нерасходившиеся номера своего издания, с тем чтобы получивший даровой номер не подписывался на другие журналы. Издатель «Поденщины», Василий Тузов, глубокий провинциал, на одном вечере у Шувалова прямо сказал жене Рубана, издателя еженедельного журнала «Ни то ни сё»: «Скажите вашему мужу, что я его не боюсь и что он неосновательно думает, что у меня нет денег на издание; вот оне», – и он показал при этом пачку ассигнаций.