В 1772 г. канцлер Никита Иванович сумел ослабить влияние Орловых, он предложил назначить фаворита главой русской делегации на Фокшанском мирном конгрессе для ведения переговоров с турками. Но по опыту Панин знал, что прямой и вспыльчивый Григорий - плохой дипломат. Негибкая позиция Орлова фактически привела к срыву мирных переговоров. Этот роковой удар означал конец карьеры Григория Григорьевича, он помчался в Петербург, но было уже поздно, на дороге его остановил карантин. В эти дни совершился маленький придворный переворот: все заметные места заняли сторонники Паниных, и господствующей силой при дворе стала партия наследника Павла Петровича. Место фаворита занял А.С. Васильчиков - ставленник Никиты Ивановича Панина. Плотная стена сторонников сына замкнулась вокруг императрицы
Ответный удар Екатерины доказывал, что она многому научилась у своего канцлера. Императрица объявила о желании женить наследника Павла Петровича. На первый взгляд, это был триумф партии цесаревича, ведь по понятиям того времени брак доказывал совершеннолетие человека. Казалось, Екатерина II спешит выполнить все формальности для передачи сыну короны. Именно Никите Ивановичу было поручено подыскать достойную кандидатуру невесты. Группировка Паниных находилась в зените своей силы почти год, за это время многое можно было сделать, по крайней мере вытребовать из Москвы Петра Ивановича. Но канцлера подвела его всегдашняя медлительность и осторожность. Считая дело почти выигранным, он постарался не раздражать императрицу, чтоб не спугнуть так великолепно развивавшуюся интригу.
Первым неладное почувствовал именно Петр Иванович, переписывавшийся с Фонвизиным. Ему, человеку серьезному и семейному, в отличие от влюбчивого ветреного брата, было ясно, что брак надолго может отвлечь внимание цесаревича Павла от политики, а сохранение влияния на него отныне будет в зависимости от отношений с будущей супругой.
С начала 1773 г. императрица предпринимает шаги для возвращения Орловым былого политического могущества. Григорий Григорьевич вновь начинает появляться при дворе, именно он, а не Никита Иванович, сопровождает императрицу и Павла Петровича на встречу с невестой цесаревича - принцессой Вильгельминой Гессен-Дармштадтской, приехавшей в Россию.
Вскоре письма Фонвизина из Петербурга становятся довольно тоскливыми. В канун свадьбы наследника в сентябре 1773 г. он писал в Москву: "Мы очень в плачевном состоянии. Все интриги и все струны настроены, чтоб графа ( Н.И. Панина - О.Е. ) отдалить от великого князя... даже до того, что под претекстом ( предлогом - О.Е. ) перестраивать покои во дворце велено ему опорожнить те, где он жил... Бог знает, где граф будет жить и на какой ноге. Только все плохо, а последняя драка будет в сентябре, то есть брак его высочества, где мы судьбу свою узнаем". Данное письмо обращено не к Петру Ивановичу, а к сестре драматурга Е.М. Фонвизиной. Сведения, сосредоточенные в нем, вероятно, предназначались для передачи генералу П.И.Панину. Писать прямо становилось небезопасно, в конце лета, по повелению Екатерины, Волконский усилил надзор за Паниным.
Императрица приказала Волконскому послать к генералу "одного надежного человека выслушать его дерзкие болтанья". Петр Иванович, видимо, почувствовал слежку, прекратил агитацию и замкнулся. По донесениям Волконского, "сей тщеславный самохвал... гораздо утих и в своем болтанье несколько скромнее стал". Однако опытный чиновник сомневался в причине изменения поведения Панина: "от страха или для закрытия каких видов?" рассуждал он. Волконский предлагал императрице как можно скорее "отлучить от двора и от обеих резиденций" всех сторонников Паниных и тем самым "шайку сию рассыпать". Это легче было сказать, чем сделать, но кое что Екатерине удалось.
После свадьбы цесаревича в 1773 г. она отстраняет Никиту Ивановича от поста воспитателя при Павле, поскольку совершеннолетний женатый наследник уже официально не нуждался в наставнике. Канцлер был осыпан милостями и огромными пожалованиями. Внешне все выглядело очень благовидно. Довольная своей маленькой победой Екатерина писала 25 сентября Волконскому в Москву: "Что же касается до дерзкого, вам известного болтуна, то я здесь кое-кому внушила, чтоб до него дошло, что, если он не уймется, то я принуждена буду его унимать наконец. Но как богатством я брата его осыпала выше его заслуг на сих днях, то чаю, что и он его уймет же, а дом мой очистится от каверзы". 30 сентября чуткий к изменениям поведения своего "подопечного" Волконский отметил, что, узнав о наградах своего брата, Петр Иванович "еще больше задумчивее стал" и принимает поздравления по этому поводу "с некоторую холодностью".
Отставному генералу было о чем сожалеть, его партия упустила время для решительных действий, а теперь богатые пожалования могли склонить канцлера к отказу от принятой программы. На время устанавливается шаткое равновесие сил между сторонниками и противниками Екатерины II. Как следствие, встал вопрос о фаворите: креатура Панина - Васильчиков далее не мог занимать этот пост, поскольку его покровитель потерял свое прежнее положение. Орловы же еще не вернули былого могущества: между Екатериной и Григорием Орловым старые отношения не восстановились. На мгновение две противоборствующие политические силы, как Сцилла и Харибда, расступились, чтоб пропустить на сцену нового актера. 4 февраля 1774 г. из армии прибыл давний друг Екатерины, много лет безнадежно влюбленный в нее генерал-майор Г.А. Потемкин. Кандидатура Григория Александровича устраивала всех, поскольку обе партии видели в нем проходную фигуру. И просчитались.
Вновь первым в ситуации разобрался Петр Иванович. "Сей новый актер станет роль свою играть с великой живостью и со многими переменами, если только утвердится", - писал он о Потемкине в письме 7 марта 1774 г. к своему племяннику камер-юнкеру князю А.Б. Куракину. Панин знал Потемкина по русско-турецкой войне и имел возможность оценить его характер, он первым из панинской группировки попытался установить контакт с будущим фаворитом и сделать его своей креатурой. Потемкину нужна была помощь, чтоб укрепиться при дворе. По дороге в Петербург, проезжая через Москву, он согласился встретиться с опальным генералом. Их разговор не мог не затронуть болезненной темы, вертевшейся тогда у всех на языке. Беглый казак Емельян Пугачев, объявив себя спасшимся императором, вел военные действия в далеком Оренбуржье с все возрастающим успехом. Маленькие крепости на границе сдавались одна за другой, правительственные войска терпели поражения. Положение было серьезным. Как видно из дальнейших писем Потемкина к Панину, Петр Иванович заверил его в своем желании "послужить Отечеству".
