Однажды на одном из заседаний Правительствующего сената Панин осмелился поправить выступление даже самой императрицы. Когда по повелению Екатерины II генерал-прокурор князь Вяземский прочел о некоторых переменах, внесенных ею в «Устав о соли», все сенаторы, кроме Панина, встали и начали благодарить императрицу. Видя, что Панин остался на своем месте, она спросила его, соглашается ли он с предлагаемою реформою. Панин встал и ответил, что если государыня приказывает, то он повинуется ее воле; но если изволит требовать его мнения, то он осмелится сделать некоторые свои замечания. Выслушав его, Екатерина приказала исполнение указа приостановить, а Панину приехать на другой день и внести поправки. Она якобы даже похвалила его за разумные добавления, на самом деле эта выходка Панина осталась в памяти сенаторов и самой императрицы.
С холодной настороженностью и недоумением сенаторы встретили записку Панина по поводу крестьянского вопроса, которую он подал Екатерине II. В ней он осуждал действия правительства против крестьянских бунтов, раскольников и беглых людей. Самые жестокие меры для устранения и усмирения их, по мнению Панина, ничего не дадут, если не устранить основные причины народных волнений: безмерную эксплуатацию подневольного труда, жуткий произвол при рекрутских наборах, неумеренную роскошь помещиков и дворян, понуждающую «употреблять людей в работы, превосходящие силы человеческие».
В отличие от большинства своих современников он утверждал, что воспитание и образование русской армии, которая набирается в основном из крестьян, невозможны при рабском их положении. Петр Иванович подмечал и высоко ценил духовную силу русского солдата, его мужество, великодушие, храбрость и «предупредительное постоянство, терпение и послушание». Спустя два дня после сражения у деревни Цорндорф Панин в письме к брату сообщал: «Когда же армия наша через неприятельские тела и раненых перешла, то никто наши никому из них никакого огорчения не делал, ничего с трупов не снимали и пленным никакого неудовольствия не показывали, но к особливому удивлению сами видели, что многие наши легкораненые неприятельских тяжелораненых на себе из опасности выносили, и солдаты наши своим хлебом и водою, в какой сами великую нужду тогда имели, их снабжали».
Кстати сказать, в том сражении генерал Панин был контужен, потерял сознание. Солдаты вынесли его с поля боя. Через некоторое время он очнулся, вскочил на коня и бросился туда, где сражались его полки.
Когда началась война с Турцией, Панину пришлось оставить дела в Сенате, вернуться в войска и принять командование 2-й армией, состоящей из 14 пехотных, 9 кавалерийских полков и десятков артиллерийских дивизионов. При тяжелейшем штурме и взятии Бендер его армия, действовавшая на главном направлении, понесла значительные потери, что вызвало недовольство Екатерины II: «Чем столько потерять и так мало получить, лучше бы вовсе их не брать Бендер».
Однако не Панин виноват в малоуспешной операции военной, поскольку главнокомандующий генерал З. Чернышев лишил его самостоятельности в ее проведении, навязывал ему свои приказы. Это двоевластие на одном плацдарме сражения и явилось причиной больших потерь среди наших войск. Тем не менее генералы Орлов и Румянцев получили за взятите Бендер ордена. Не помышляя о себе, Панин составил рапорт, в котором ходатайствовал о награждении солдат и офицеров вверенной ему армии. Этот рапорт Екатерина оставила без внимания. Панин не смог вынести такой обиды и, сославшись на здоровье, подал в отставку. Императрица незамедлительно под злорадный шепоток крупных военных чинов подписала панинский рапорт, удовлетворив его прошение: Панин ей был нужен лишь в дни грозящей престолу опасности.
В ноябре 1770 года Петр Иванович писал своему брату:
«Сколь весьма трудно удерживать себя в великодушии, видев оное все попранным ногами, преодоленным теми людьми, которые всю свою службу ведут на одних коварствах и на вмещениях собственных своих выгод, видов и корысти».
В ту пору английский посол лорд Каткарт в служебном отчете о российских новостях писал о Панине так: «Он горяч, враги его стараются удалить его, — и это им удалось. Они достигли удаления человека, весьма полезного государству, как в гражданском, так и в военном ведомстве… Генерал Панин, уважаемый и любимый офицерами и солдатами, по взятии Бендер принужден выйти в отставку».
Екатерина II вспомнила о Панине, когда пожар пугачевского восстания охватил несколько губерний и направился к Москве.
В это время Петр Иванович, находясь в отставке, жил неподалеку от столицы, в селе Михайловке. Придворные клерки продолжали наушничать, доносить императрице о том, что старый генерал хулит ее и все государственное правление.