В апреле 1960 года при подготовке к 90-летию со дня рождения В. И. Ленина Молотов прислал в редакцию журнала «Коммунист» большую статью «О Владимире Ильиче Ленине». Эта статья, однако, не была опубликована.
В конце концов Хрущев решил перевести Молотова на работу подальше от китайских границ. Как раз в это время член-корреспондент АН СССР В. С. Емельянов, перегруженный множеством обязанностей и должностей, попросил освободить его от должности советского сопредседателя Международного агентства по атомной энергии при ООН. Штаб-квартира этого агентства располагалась в Вене. Вскоре решением Совета Министров СССР руководителем Советского представительства в упомянутом агентстве ООН был назначен Молотов. Общее руководство было оставлено, однако, за Емельяновым. Молотову пришлось переехать из Монголии в Австрию.
Во время венской встречи Хрущева с новым американским президентом Дж. Кеннеди среди приглашенных можно было увидеть и медленно передвигающегося старого человека небольшого роста в пенсне с золотой оправой. Это был Молотов, советский представитель в агентстве ООН по атомной энергии. Когда появился Хрущев, Молотов приветствовал его с непроницаемым лицом. Хрущев небрежно ответил на приветствие и прошел мимо.
Летом 1961 года в СССР началась активная подготовка к очередному, XXII съезду партии. Был опубликован проект новой Программы КПСС для его всенародного обсуждения. В печати, однако, публиковались только такие статьи, которые полностью одобряли проект Программы или вносили в него не слишком существенные добавления и исправления. Молотов также решил принять участие в этом обсуждении. Незадолго до начала съезда он направил в ЦК КПСС заявление, содержащее подробный и критический разбор проекта Программы КПСС. Молотов утверждал, что этот проект - ошибочный и «ревизионистский» документ. Его критические замечания не были опубликованы. Краткий и, возможно, не вполне точный разбор письма Молотова можно найти лишь в речах на съезде П. А. Сатюкова и П. Н. Поспелова. Сам факт выступления Молотова против Программы КПСС вызвал раздражение у Хрущева. Несомненно, это было одной из причин включения в его отчетный доклад специального раздела, посвященного критике «антипартийной группы» Молотова, Маленкова, Кагановича и других «фракционеров». Резкая критика Молотова содержалась и в речах других делегатов съезда. На этот раз о преступлениях Сталина, Молотова и прочих ближайших помощников вождя говорилось не в закрытом докладе, а в открытых выступлениях делегатов и докладчиков съезда. Многие из делегатов требовали исключить Молотова и его политических союзников из партии. И действительно, вскоре после окончания съезда Молотов был снят со всех своих постов. Первичная организация, в которой он состоял на учете, исключила его из партии.
В феврале 1962 года бюро Свердловского райкома партии Москвы исключило Молотова из рядов КПСС за антипартийную фракционную деятельность, активное участие в массовых репрессиях. Молотов направил письмо в МГК КПСС с просьбой оставить его в партии. На заседании бюро горкома тогдашний первый секретарь МГК П. Н. Демичев задал ему вопрос: «Мы спрашиваем вас как человека: почему вы, подписывая списки, безвинных людей направляли на расстрел?» Молотов ответил: «Я считаю это ошибкой» (См.: Буков К., Самородов А. Правая рука // Московская правда. 1989. 6 апр.).
Бывший советский премьер был отправлен на пенсию. Что касается городов и поселков, носящих имя Молотова, то им были возвращены прежние названия еще в 1957 году. В стране не осталось больше ни одного предприятия или учреждения «имени Молотова».
Вскоре после XXII съезда, как вспоминает А. И. Аджубей, Полина Семеновна Жемчужина добилась приема у Хрущева. «В ответ на ее просьбу восстановить мужа в партии Никита Сергеевич показал ей документ с резолюцией Молотова о расстреле жен Косиора, Постышева и других ответственных работников Украины, затем спросил, можно ли, по ее мнению, говорить о восстановлении Молотова в партии или надо привлекать к суду» (Аджубей А. Те десять лет // Знамя. 1988. № 6. С. 96.).
Еще в 1961 году Молотов вернулся в Москву. После исключения из партии он лишился многих пока остававшихся у него привилегий. Однако часть из них была сохранена для жены Молотова. Вместе с ней и немногочисленной семьей Молотов жил или в своей квартире на улице Грановского или на даче в Жуковке, дачном поселке для привилегированных лиц. Мало кто навещал его, кроме родственников.
Однажды его посетила дочь Сталина Светлана Аллилуева. В книге «Только один год» Аллилуева писала:
«Я видела постаревшего, поблекшего Молотова - пенсионера в его небольшой квартире уже после того, как Хрущева сменил Косыгин. Молотов, по обыкновению, говорил мало, а только поддакивал. Раньше я всегда видела его поддакивающим отцу. Теперь он поддакивал жене. Она была полна энергии и боевого духа. Ее не исключили из партии, и она теперь ходила на партийные собрания на кондитерской фабрике, как в дни молодости. Они сидели за столом всей семьей, и Полина говорила мне: «Твой отец был гений. Он уничтожил в нашей стране пятую колонну, и, когда началась война, партия и народ были едины. Теперь больше нет революционного духа, везде оппортунизм. Посмотри, что делают итальянские коммунисты! Стыд! Всех запугали войной. Одна лишь надежда на Китай. Только там уцелел дух революции!» Молотов поддакивал и кивал головой. Их дочь и зять молчали, опустив глаза в тарелки. Это было другое поколение, и им было стыдно. Родители походили на ископаемых динозавров, окаменевших и сохранившихся в ледниках» (Аллилуева С. Только один год. Нью-Йорк, 1970. С. 353.).
Эта беседа происходила в разгар «культурной революции» в Китае.
В 1963-1967 годах они часто выходили погулять по арбатским переулкам, при этом оживленно беседуя, нежно прижавшись друг к другу. Через несколько лет П. С. Жемчужина умерла. Организацию похорон взяла на себя та фабрика, в которой Жемчужина состояла на партийном учете. На этих похоронах были также представители райкома партии. На траурном митинге выступил и Молотов. Это было его первое и последнее публичное выступление после ухода на пенсию. Он говорил о том пути, который прошла покойная, и одновременно о той большой работе, которую проделали партия и Советское государство в 30-40-е годы. Но Молотов, конечно же умолчал об аресте и ссылке своей жены и о преступлениях прошлых лет.
Еще в середине 60-х годов Молотов начал писать мемуары. Он работал над ними не только дома, но регулярно приходил в профессорский зал Государственной библиотеки имени Ленина. Конечно, Академия наук уже давно исключила Сталина и Молотова из списка «почетных» академиков. Но за Молотовым было сохранено право посещать зал для профессоров и академиков. Этот же зал обычно посещают и иностранцы, которым приходится работать в Москве над своими дипломами или книгами. В 1968 году рядом с Молотовым занималась одна французская студентка. Заметив, что молодая женщина слишком часто и с любопытством смотрит на него, он, проходя мимо, положил на ее стол клочок бумаги, на котором было написано: «Молотов - правая рука Сталина в прежние времена».
