Императрица Екатерина II не простила Н.И. Панину попытки ограничить ее власть путем создания «императорского совета», она обвинила его в не сложившихся отношениях с сыном Павлом, в усилении разлада между ним и ею. Во имя уменьшения влияния Панина на сына она воспользовалась женитьбой Павла, чтобы удалить Панина от должности воспитателя (1773). Она хотела отделаться от Панина как от свидетеля нелучших дней ее жизни, катализатора ухудшавшихся отношений с сыном, виновника ряда ошибок в российской внешней политике. Именно в смоленской усадьбе Дугино, пожалованной Панину императрицей Екатериной II в середине XVIII в., он получил письменное извещение от императрицы, констатировавшее его отставку.
Хотя главным увлечением Панина были политика и дипломатия, он осознавал прелесть радостей такой краткой земной жизни. Неудивительно, что он имел многие слабости. Уважаемый абсолютно всеми митрополит Платон (1737–1812 гг.; в миру Левшин) считал и писал, что Н.И. Панин «к гуляниям был склонен», любил хорошо поесть, питал непреодолимую слабость к женщинам, которую пытался скрывать или объяснял желанием получше изучить женский характер. Н.И. Панин знал в тончайших деталях слабости и достоинства женских сердец, более того, умел их использовать в своих интересах, тем более что сам обладал трезвым аналитическим умом. При дворе императрицы Елизаветы Петровны он был опасным соперником ее главных фаворитов Г.А. Разумовского (1709–1771) и И.И. Шувалова (1727–1797), но их влияние на Елизавету было не слишком большим, да и временным, а к мнению Панина она стабильно относилась серьезно. Со временем он смог найти общий язык с великой княгиней Екатериной Алексеевной, которую хотел видеть на первом месте вместо Петра III.
Ради маскировки своей максимальной осведомленности о готовящемся дворцовом перевороте против императора Петра III в пользу его жены Екатерины II (1762) Н.И. Панин счел допустимыми слухи и разговоры о его особых отношениях с юной княгиней Е.Р. Дашковой (1744–1810), считавшейся тогда уже несколько лет чуть ли не доверенной подругой императрицы и его родственницей (Панины доводились двоюродными дядями ее мужу – князю М.И. Дашкову). Некоторые биографы Дашковой и А.И. Герцен утверждали, что сама княгиня вскружила голову почтенному родственнику, пыталась вовлечь его в свою «партию», рассказывая о готовящихся переменах в России и приготовлениях к ним.