Между тем Сальдерн отправился в Гольштейн. Там он заявлял, что пользуется полным доверием императрицы, и в доказательство показывал табакерку с бриллиантовым шифром Екатерины, якобы недавно полученную от нее в подарок. Позднее выяснилось, что табакерка эта предназначалась какому-то польскому вельможе и Сальдерн попросту украл ее из запасов русского посольства в Варшаве. Еще стало известно, что Сальдерн выпросил у датского посла 12 тысяч рублей якобы по просьбе графа Панина, который очень хотел достать эту сумму для княгини Дашковой, но просить стеснялся. Датчанин, разумеется, выдал требуемые деньги, и Сальдерн благополучно положил их себе в карман.
В феврале 1774 года в Петербурге стали распространяться слухи о скором возвращении Сальдерна, которому Екатерина обещала выгодное место. Встревоженный Павел решился сам пойти к матери и рассказать ей все, что он знал о гнусной деятельности Сальдерна. Выслушав сына, Екатерина призвала Панина, и Никита Иванович подтвердил слова великого князя. Императрица разгневалась и хотела было отдать приказ, чтобы Сальдерна немедленно арестовали и привезли в Россию в кандалах. Панин, однако, посоветовал ей окончить это дело без шума и просто послать Сальдерну указ об отставке и письмо с рекомендацией никогда более не возвращаться в Россию. Так и было сделано. Внешне инцидент был исчерпан, но что подумала императрица, какие подозрения могли закрасться в ее душу - об этом остается только догадываться.
С возрастом характер Екатерины не становился лучше, в равной мере это относилось и к Панину. Граф, чувствуя, что его положение становится шатким, делался все более недоверчивым и раздражительным. В дополнение ко всему у Панина стала развиваться тяжелая, изнурительная болезнь, отнимавшая много сил и часто приковывавшая его к постели. Никита Иванович и прежде был невысокого мнения о Екатерине, теперь же ее поступки вызывали у него недовольство столь сильное, что он уже не хотел это скрывать.
В мае 1775 года, например, императрица собралась в Троице-Сергиеву лавру и предварительно послала Панину записку. Мол, граф Никита Иванович, "шепни на ухо" прусскому, датскому, испанскому и английскому посланникам, что если хотят сопровождать государыню, то пусть приезжают. А французскому и саксонскому не шепчи, потому что они "тягостные". Панин, описывая этот эпизод Репнину, добавлял: "Как, мой друг, содержать конекцию с другими дворами и как вести дела внешние, когда и в персонах их министров нет соображения с делами".
Недовольство Панина питало сатирическое перо Фонвизина. По мнению некоторых историков, обличающие персонажи его комедий, прежде всего Стародум, были отчасти списаны с Никиты Ивановича. К тому же покровительство графа давало Фонвизину возможность говорить то, на что в иных условиях он бы вряд ли решился.
В апреле 1776 года при дворе произошел очередной кризис. Начался он с трагического события - во время родов скончалась великая княгиня Наталья Алексеевна. Кроме бури чувств оно вызвало еще и немаловажные политические последствия. Со смертью невестки и ее ребенка императрица лишалась наследника престола, которого можно было противопоставить Павлу. Посему Екатерина решила как можно скорее заставить сына вступить во второй брак. Павел очень тяжело переживал смерть жены, но императрица, разбирая бумаги усопшей, выяснила одно деликатное обстоятельство. Оказалось, что покойница была неверна своему супругу, причем в роли искусителя выступал ближайший друг Павла граф Андрей Разумовскии. Этот факт, естественно, был доведен до сведения великого князя.
В литературе, впрочем, высказывалось мнение, что всю эту некрасивую историю выдумала сама Екатерина. В качестве "свидетеля" выступил уже поднаторевший в интригах отец Платон, которого убедили сказать Павлу, будто бы о факте неверности он узнал от самой великой княгини во время исповеди.
Как бы там ни было, Павел действительно быстро утешился и уже через год отправился в Германию за новой невестой. На этот раз императрица выбрала для него Софию Доротею Вюртембергскую, выкупив ее предварительно у наследного принца гессен-дармштадтского, с которым принцесса была помолвлена. Приготовления к свадьбе велись в строгой тайне от Панина, не выходившего в то время из дому после перенесенной операции. Екатерина очень боялась, как бы граф не вмешался и не внушил цесаревичу желания поискать другую спутницу жизни. Императрице нужна была невестка, целиком находящаяся под ее влиянием, то есть политически безопасная. А София Доротея, по словам людей, видевших ее, отличалась скромностью и покладистостью.
Опасения Екатерины были напрасны. Панин и не думал вмешиваться в ее брачные манипуляции, хотя обо всем происходящем был прекрасно осведомлен. Подробно пересказывая дворцовые новости в письмах Репнину, он однажды присовокупил к ним такой комментарий: "В откровенность, сердечный друг, скажу тебе, что по моральному нашему здесь положению нельзя было болезни избрать для моего спокойства удобнейшего времени, ибо сим одним миновали меня все происшедшие наши дворские кризисы".