Горчаков, совершенно отойдя от дел после печального для России и для него самого Берлинского конгресса, фактически передал пост министра иностранных дел Гирсу, женатому на родной племяннице светлейшего князя, дочери сестры его княгини Елены Михайловны Кантакузен, а в марте 1882 года, уже при Александре III, по личной просьбе он получил полную отставку, но с сохранением звания государственного канцлера и члена Государственного совета, и удалился для лечения за границу. С тех пор Горчаков жил на покое то в Ницце, то в Баден-Бадене.
После Берлинского конгресса покойный император Александр II заметно охладел к нему и мало советовался по государственным вопросам. Канцлер же продолжал цепляться за свое место, хотя давно уже не имел прежнего влияния, и если царь иногда и слушал его, то делал это скорее из уважения к его сединам. Горчаков, достигнувший в своей жизни высшего чина государства Российского и удостоенный высшего титула, возможного для особы не царского рода, никак не хотел спуститься с небес на землю. Он совершал оплошности, иногда по старческой упрямости, не желая никого слушать, а иногда просто по дряхлости и забывчивости. Так, на злополучном Берлинском конгрессе, где он все больше болел, пропуская заседания, и где всем заправлял бывший шеф жандармов, теперешний посол России в Лондоне граф Петр Андреевич Шувалов, который совершенно не брал в расчет престарелого князя, тот однажды восстал в прямом и переносном смысле слова, воспрянул ото сна, и прибыл на очередное заседание конгресса, где его совсем не ждали. Как падишаха, лакеи внесли его в зал заседания прямо на кресле. Испытывая гордость от своего подвига, он от своей старческой рассеянности все-таки произвел, как говорили тогда, очередное свое безобразие.
Небрежно лорнируя соседей по столу, любезно раскланиваясь со всеми, он извлек из портфеля, который ему подали, полученную им из военного министерства карту малоазиатского театра войны с показанием на ней границ прежних и по Сан-Стефанскому договору, а также, что было самое прискорбное, с пометами, означающими пределы возможных уступок, на которые готова пойти Россия. Неизвестно, для чего князь захватил эту карту на заседание, поскольку рассуждать на нем о Малой Азии даже не предполагалось. Князь близоруко стал рассматривать карту, составляющую, разумеется, большой секрет, а сидевший рядом с ним англичанин Одо-Россель заинтересованно ее изучал. Любопытные взгляды англичанина не укрылись от всевидящего жандармского ока графа Петра Шувалова, которого в России прозвали Петром IV или вторым Аракчеевым. Он подскочил к старику и, нимало не стесняясь, можно сказать, почти грубо отобрал карту у престарелого канцлера. Князь поморгал глазами, кажется, ничего не понял, заволновался о том, как он выглядит в сей ситуации, но быстро успокоился, когда по знаку Шувалова ему подали другие карты, Балканского полуострова, купленные в обыкновенном магазине на Unter den Linden. Судя по тому, как он слепо в них тыкался, государственный канцлер ничего не понимал в них. Однако эта замена уже не спасла положения, и на последующих переговорах лорд Биконсфильд выставил карту с пределами возможных уступок России, уже как условия Англии. «Тут измена! — кричал князь Горчаков. — К ним попала карта нашего генерального штаба!» Шувалов скрипел зубами и клял князя на чем свет стоит.
Еще раньше, за много лет до Берлинского конгресса, теперь уже покойный князь Петр Андреевич Вяземский говорил Ивану Петровичу, что наша дипломатия, под направлением Горчакова, очень похожа на старую нарумяненную, с фальшивыми зубами кокетку. Она здесь и там подмигивает, улыбается, иногда грозит своим сухим и морщинистым пальцем. Но никто уже не поддается ее приманкам, никто не обращает внимания на угрозу ее. А она все продолжает жеманиться, ломаться, будировать. Все это по образцу и подобию Горчакова, который сам старая кокетка. Есть странные сближения, думал Иван Петрович: то, что ему говорил старый князь Вяземский, знал и умел назвать мальчик Саша Пушкин, когда еще в Лицее обозвал своего тезку князя Горчакова «вольной польской дамою», что было документально засвидетельствовано одним из гувернеров. Теперь вольная польская дама состарилась.
Вообще светлейший князь Горчаков был болезненно самовлюбленный человек, боготворивший собственную популярность до того, что однажды в присутствии государыни ляпнул, что на сегодняшний день он самый популярный человек в России; но, поняв, что сморозил глупость, добавил с реверансом: «Естественно, ваше величество, после государя императора». — «Очевидно, что он сделал эту уступку только из любезности ко мне», — смеялась потом императрица Мария Александровна, супруга Александра II.
Как и у многих стариков, забывчивость его касалась только времени настоящего да ближайшего прошлого, что же до прошлого дальнего, то молодость вставала перед ним отчетливо, ясно, кристально, даже голоса слышались рядом, над ухом, голоса молодые, звонкие, из первой лицейской юности, чувственной, буйной, незабываемой.
Те времена он помнил отчетливо, до мелочей, а лицейские годы были его коньком, дружба с однокашником Сашей Пушкиным священна, юношеские шалости до удивления свежи. Он охотно декламировал послания Пушкина к себе, теперь чаще всего первое, ко дню ангела, автограф которого, набело переписанный самим поэтом, он хранил в своем архиве и показывал только самым избранным. Описывая его далекую смерть, тогда казавшуюся только гипотетической, Пушкин желал от чистого сердца, чтобы князь «вступая в мрачный челн Харона, уснул… Ершовой на грудях». Старик, смакуя эти строки, елейно причмокивал, ловя во рту болтающиеся зубные протезы и поглядывая на молодых дам, если они случались рядом, и глазки его блестели, потому что именно для дам он жил, дышал и, главное, читал эти строки. Глядя на него, на его чувственный, юношеский задор, сразу вспоминалось, что в свете его за глаза звали князем Сердечкиным.
Повелось это еще с того достопамятного времени, когда он был без ума влюблен в свою внучатую племянницу, молоденькую Наденьку Акинфиеву, урожденную Анненкову, которая была сорока годами его моложе. Он поселил ее в Петербурге в своем доме этажом выше и даже выхлопотал мужу камер-юнкера, что позволило известному поэту и острослову, его приятелю и сослуживцу Федору Ивановичу Тютчеву сказать: «Князь походит на древних жрецов, которые золотили рога своих жертв». Эта острота, как и многие остроты Тютчева, переходила из уст в уста по всему Петербургу.
Федор Тютчев тоже строил куры молоденькой родственнице князя Горчакова, писал ей стихи и, видимо, был огорчен, что она предпочла более именитого дядюшку.