Дружной совместной работы с Хрущевым у Ворошилова не получилось. Ворошилов поддержал Молотова, Маленкова и Кагановича, когда они выступили в июне 1957 года против Хрущева. Линия Хрущева на разоблачение сталинских преступлений очень беспокоила Ворошилова, и он был против его намерения выступить о вреде культа личности еще на XX съезде КПСС. Ворошилов, однако, был не слишком верным союзником Молотова и Маленкова. Когда он убедился, что Пленум ЦК не поддержит решение своего Президиума, он снова встал на сторону Хрущева и в выступлении на Пленуме решительно осудил своих недавних союзников. Поэтому фамилия Ворошилова не была упомянута в решениях Пленума об антипартийной группе. Сам Ворошилов уже в начале июля, выступая в Ленинграде, осудил еще раз «гнусную попытку» Молотова, Маленкова и Кагановича выступить против «ленинского руководства» ЦК КПСС в лице товарища Хрущева. В результате Ворошилов на несколько лет сохранил за собой пост главы государства. Но эта его деятельность не была отмечена ни проблесками государственного ума, ни проявлениями какой-либо инициативы. Зато близких к нему по работе людей иногда удивляли несвойственные раньше Ворошилову признаки скупости. Он, например, очень не хотел отдавать в фонд государства те весьма ценные подарки, которые нередко получал как глава государства во время своих визитов в другие страны или при визитах глав других государств в СССР. Как можно больше из этих подарков Ворошилов старался оставить себе.
Нелояльность, проявленная Ворошиловым в июне 1957 года, все же не была забыта. Город Луганск, который в 1935 году был переименован в Ворошиловград, в 1958 году снова стал Луганском. В 1960 году, когда Ворошилову исполнилось уже 79 лет, он был освобожден от обязанностей Председателя Президиума Верховного Совета СССР. Уход Ворошилова с поста главы государства был отмечен торжественной процедурой. Ему было присвоено звание Героя Социалистического Труда. Были произнесены приличествующие случаю речи. Климент Ефремович остался членом Президиума Верховного Совета. Председателем Президиума был избран 53-летний Л. И. Брежнев.
Ни Молотов, ни Каганович, ни Маленков не присутствовали на XXII съезде КПСС. Ворошилов же был не только избран делегатом этого съезда, но и как член партийного руководства находился в его Президиуме. Ему пришлось выслушать здесь немало обвинений, направленных не только против его недавних политических соратников, но и против него самого.
Уже Хрущев в своем Отчетном докладе, говоря о фракционной антипартийной группе, назвал в числе ее активных участников и Ворошилова. При этом Хрущев сказал, что его позиция не была случайной, ибо и он несет персональную ответственность «за многие массовые репрессии в отношении партийных, советских, хозяйственных, военных и комсомольских кадров и за другие явления подобного рода, имевшие место в период культа личности» (XXII съезд Коммунистической партии Советского Союза. 17-31 октября 1961 года. Стенографический отчет. М., 1962. Т. 1. С. 105.). Почти все другие ораторы также упоминали Ворошилова в числе членов антипартийной группы. Особенно резко и аргументированно выступил против Ворошилова Председатель Совета Министров РСФСР Д. С. Полянский:
«Следует сказать и о поведении тов. Ворошилова как участника антипартийной группы. Всем известны его прежние заслуги перед Родиной. Поэтому Центральный Комитет партии очень снисходительно отнесся к нему. А ведь вы, товарищ Ворошилов, играли активную роль в этой группе, хотя и говорите, что вас «черт попутал». Мы думаем, что черт тут ни при чем. Вы хотели замести следы своего участия в репрессиях против ни в чем не повинных людей, особенно против кадров военных руководителей, известных всей стране. Будучи членом антипартийной группы, являясь ее активным участником, тов. Ворошилов вел себя дерзко, грубо, вызывающе. В критические минуты он даже отказался встретиться с членами Центрального Комитета партии, требовавшими созыва Пленума Центрального Комитета. Он забыл о том, что его избирали в Президиум Центрального Комитета и, следовательно, могли лишить этого высокого доверия. А как он вел себя на Пленуме ЦК? Напомню только один момент. Когда Кагановичу было предъявлено обвинение в массовых репрессиях на Кубани, проводившихся по его указанию и при его личном участии, Ворошилов выступил в защиту Кагановича; вскочил с места и, размахивая кулаками, кричал: «Вы еще молоды, и мы вам мозги вправим». Мы тогда ответили на его реплику: «Успокойтесь, ЦК разберется, кому следует мозги вправлять!» Так что вы, товарищ Ворошилов, не прикидывайтесь Иваном, не помнящим родства. За антипартийные дела вы должны нести полную ответственность, как и вся антипартийная группа» (XXII съезд Коммунистической партии Советского Союза. 17 - 31 октября 1961 года. Стенографический отчет. М., 1962. Т. 2. С. 43-44.).
Во время речи Полянского Ворошилов вел себя очень нервно. Он вставал, садился, затем со злобой бросил какой-то блокнот и вышел из президиума съезда и из зала. Но на следующий день он снова сидел на съезде и слушал выступления, в которых нередко упоминалась и его фамилия. Так, например, А. Н. Шелепин, занимавший в 1961 году пост председателя Комитета государственной безопасности, сказал, в частности, о Ворошилове:
«Накануне расстрела Якир обратился к Ворошилову со следующим письмом: «К. Е. Ворошилову. В память многолетней в прошлом честной работы моей в Красной армии я прошу Вас поручить посмотреть за моей семьей и помочь ей, беспомощной и ни в чем не повинной…»
И вот на письме человека, с которым долгие годы вместе работал, хорошо знал, что тот не раз смотрел смерти в глаза, защищая Советскую власть, Ворошилов наложил резолюцию: «Сомневаюсь в честности бесчестного человека вообще. К. Ворошилов. 10 июня 1937 г.» (XXII съезд Коммунистической партии Советского Союза. Т. 2. С. 403.)
Многие из делегатов требовали исключения лидеров антипартийной группы из партии. На 19-м заседании съезда 27 октября 1961 года было, однако, зачитано заявление Ворошилова XXII съезду КПСС. В нем Ворошилов утверждал, что, хотя он и поддержал «ошибочные, вредные выступления» членов антипартийной группы, он «не имел никакого понятия о ее фракционных действиях». Ворошилов писал:
«Глубоко осознав тот огромный вред, который могла нанести нашей партии и стране антипартийная группа Молотова, Кагановича, Маленкова и других, я решительно осуждаю ее фракционную деятельность, направленную на то, чтобы свернуть партию с ленинского пути. Я полностью понимаю серьезность допущенной мною ошибки, когда я поддерживал вредные выступления членов антипартийной группы».
