Как и у большинства людей, эта мечта осталась бы мечтой, если бы в Рождество 1761 года вся жизнь Шувалова круто и безвозвратно не переменилась — со смертью Елизаветы он потерял власть, утратил влияние, но обрел такие желанные покой и волю. Произошло это не сразу. Еще до смерти императрицы он пытался сблизиться с «молодым двором», но, встретив непонимание у Петра Федоровича и Екатерины Алексеевны, интриговал и даже пытался изменить завещание в пользу семилетнего цесаревича Павла Петровича. В день смерти Елизаветы его видели с щекой, разодранной ногтями. По-видимому, Шувалов сильно переживал смерть императрицы и свое крушение. Иван Чернышев в начале 1762 года писал из-за границы: «Любезный и обожаемый друг! Я разделяю все ваши горести, клянусь вам, и очень сожалею, что в эту минуту я не в России. Я был бы с вами, может быть, и нашел бы средство развеселить вас. Пожалуйста, не предавайтесь горести. Знаете, что первый мой курьер, возвратясь ко мне, сказал мне, что вы очень постарели и что, глядя на вас, можно подумать, что вы пятью годами старше меня, это мало меня радует». Чернышев родился в 1728 году и был на год старше Шувалова, которому в год смерти государыни исполнилось тридцать четыре года. Тогда он не знал, что это еще не конец жизни, а ее зенит, и судьбою ему отпущено еще тридцать шесть лет.
Со смертью Елизаветы началась вторая половина жизни Шувалова. Ему можно позавидовать: он был знаком с гениями, гостил в Фернее у своего друга Вольтера, посещал салоны в Париже, пользуясь там всеобщим почетом и уважением и являя собой, как писали позже, «русского посла при европейской литературной державе». Он долго жил в благословенной Италии, коллекционируя шедевры живописи и скульптуры. Он познал власть, увидел еще при жизни свою славу. Необременительные обязанности попечителя Московского университета и камергера не мешали ему жить в свое удовольствие. Шувалов создал свой литературный салон. Это был первый литературный салон в России. «Светлая угловая комната… там налево в больших креслах у столика, окруженный лицами, сидел маститый, белый старик, сухощавый, средне-большого росту в светло-сером кафтане и белом камзоле… В разговорах и рассказах он имел речь светлую, быструю, без всяких приголосков. Русский язык его с красивою обделкою в тонкостях и тонах. Французский он употреблял где его вводили и когда, по предмету, хотел что сильнее выразить. Лицо его всегда было спокойно поднятое, обращение со всеми упредительное, веселовидное, добродушное». Таким увидел Шувалова на склоне лет мемуарист Тимковский. В тот день за обеденный стол Шувалова сели поэты Гаврила Державин, Иван Дмитриев, Дмитрий Хвостов, Осип Козодавлев, адмирал и филолог Александр Шишков, выдающийся педагог Федор Янкович, будущий директор Публичной библиотеки Александр Оленин. В салоне Шувалова бывали княгиня Дашкова, переводчик Гомера Ермил Костров, Ипполит Богданович, автор «Душеньки» — знаменитой при Екатерине II поэмы о русских Психее и Купидоне, и другие литераторы.
Шувалов не слыл мизантропом, вроде Ивана Бецкого или князя Михаила Щербатова, и всегда нуждался в человеческом сочувствии и в друзьях. В 1757 году — в эпоху своего могущества — он писал о своих горестях и плохом настроении Михаилу Воронцову и добавлял: «Простите, милостивый государь, в оном меня, когда откроешь мысли к кому поверенность есть, то кажется, будто полегче». Однако он не был наивен и простодушен и понимал, что многие ищут его дружбы и подчас дружат с ним как с «сильным человеком». Как показало время, такой и была его дружба с Воронцовым. За месяц до смерти Елизаветы, 29 ноября 1761 года, он писал Воронцову: «Вижу хитрости, которые не понимаю, и вред от людей, преисполненных моими благодеяниями. Невозможность их продолжать прекратила их ко мне уважение, чего, конечно, всегда ожидать был должен и не был столь прост, чтоб думать, что меня, а не пользу свою во мне любят». Это был прямой упрек «верному другу» Михаилу Илларионовичу, который, подобно всем другим царедворцам, предвидя скорую смерть императрицы, уже начал вертеться возле ее наследника — великого князя Петра Федоровича. С тех же пор, как фаворит утратил власть, он приобрел настоящих друзей и мог с полным основанием писать сестре, что, наконец, сумел «приобресть знакомство достойных людей — утешение мне до сего времени неизвестное, все друзья мои, или большею частию, были [друзьями] только моего благополучия, теперь — собственно мои». По-видимому, так и было.