Панин в разговоре с Нолькеном, шведским посланником при русском дворе, обнаружил неудовольствие насчет ледяного приема Шувалова в Швеции. Нолькен, разумеется, дал знать об этом королю; как же тот объяснил дело перед своими? За обедом он начал говорить: «Граф Шувалов очень недоволен своим пребыванием здесь, и я вовсе этому не удивляюсь. Человека, слишком великолепного и думающего о себе, что он умнее всех на свете, императрица прислала ко мне. человеку, простому во всем. Вы видели, что на прощальной аудиенции, которую я ему давал, я был одет в простом мундире, а он расшит с головы до ног и покрыт бриллиантами. Императрица думала нас здесь ослепить остроумием и великолепием Шувалова». Передавая Панину эти слова Густава, Симолин прибавил: «Правда, что его величество на последней аудиенции надел самый истасканный и грязный мундир, какой только можно было отыскать в гардеробе, чтоб показать придворным контраст относительно графа Шувалова».
Симолину дано было позволение удалиться из Стокгольма, если холодность к нему двора будет продолжаться. 30 октября он дал знать, что когда он был на аудиенции у герцогини Зюдерманландской, супруги королевского брата, то дежурный кавалер не встретил и не проводил его, как того требовал обычай, строго соблюдавшийся и в королевском дворце. Симолин писал по этому случаю к Панину, что такое неуважение дает ему полное право воспользоваться позволением императрицы и уехать из Швеции, и Екатерина написала на его письме: «Скажите же ему, что он может уехать». Симолин писал также, что шведский двор занимается выдумками на его счет. Так, выдумано, что существует клуб недовольных, где он председателем; что он только притворяется больным для избежания позора, а между тем проводит ночи в этом клубе; дирекция театров сделала ему неприятность относительно абонемента.