Случай с Люшковым послужил предлогом для назначения 22 августа Берии первым заместителем наркома внутренних дел. Прежние руководители НКВД сделали отчаянную попытку свалить Лаврентия Павловича. В покаянном письме Сталину Ежов признался: "Переживал… назначение т. Берия. Видел в этом элемент недоверия к себе, однако думал все пройдет. Искренне считал и считаю его крупным работником, я полагал, что он может занять пост наркома. Думал, что его назначение — подготовка моего освобождения (правильно думал! — Б. С.)… Фриновский советовал: "Держать крепко вожжи в руках. Не хандрить, а взяться крепко за аппарат, чтобы он не двоил между т. Берия и мной. Не допускать людей т. Берия в аппарат". Фриновский в начале 30-х работал председателем ГПУ Азербайджана и часто конфликтовал с Берией как с одним из руководителей Закавказского ГПУ. Теперь Михаил Петрович предупреждал Ежова, какой опасный это враг. Решено было представить Сталину компрометирующий материал на Берию — данные о его службе в мусаватистской контрразведке. Однако Сталин уже был в курсе, как обстояло дело в действительности (вспомним письмо Павлуновского), да и судьбу Ежова он давно предопределил.
На долю Берии выпала задача умерить размах репрессий. 8 сентября 1939 года другой первый заместитель наркома внутренних дел М.П. Фриновский был назначен наркомом Военно-Морского Флота, а 29 сентября в ведение Берии перешло Главное управление Государственной Безопасности. К началу октября Ежов практически утратил контроль над основными структурами наркомата внутренних дел.
Члены ЦК и правительства в одночасье прозрели. В постановлении от 17 ноября 1938 года утверждалось: "Массовые операции по разгрому и выкорчевыванию вражеских элементов, проведенные НКВД в 1937–1938 годах, при упрощенном ведении следствия и суда не могли не привести к ряду крупнейших недостатков и извращений в работе органов НКВД и прокуратуры… Работники НКВД настолько отвыкли от кропотливой, систематической агентурно-осведомительной работы и так вошли во вкус упрощенного порядка производства дел, что до самого последнего времени возбуждают вопросы о предоставлении им так называемых "лимитов" для производства массовых арестов". Был осужден сам упрощенный порядок расследования, когда "следователь ограничивается получением от обвиняемого признания своей вины и совершенно не заботится о подкреплении этого признания необходимыми документальными данными, а "показания арестованного записываются следователями в виде заметок, а затем, спустя продолжительное время… составляется общий протокол, причем совершенно не выполняется требование… о дословной, по возможности, фиксации показаний арестованного. Очень часто протокол допроса не составляется до тех пор, пока арестованный не признается в совершенных им преступлениях". Теперь НКВД и прокуратуре запрещалось осуществлять массовые операции по арестам и выселению. Любые аресты разрешалось производить только с санкции прокуратуры или постановления суда. Ликвидировались также судебные тройки, выносившие приговоры по упрощенной процедуре, без участия защиты и обвинения. Все дела от троек передавались в суды или в Особое совещание при НКВД СССР. От следователей потребовали соблюдение уголовно-процессуальных норм, а именно: завершать расследование в установленные законом сроки, допрашивать арестованных не позднее чем через 24 часа после их задержания и составлять протокол сразу же после окончания допроса.
Поняв, что его песенка спета, Николай Иванович, по русскому обычаю, ушел в запой. 23 ноября 1938 года он подал прошение об отставке. 24 ноября Политбюро освободило Ежова от должности наркома внутренних дел, сохранив за ним уже ничего не значившие посты секретаря ЦК, председателя Комитета Партийного Контроля и наркома водного транспорта. Преемником Ежова в НКВД стал Берия. В апреле 39-го Николая Ивановича арестовали. Люди Лаврентия Павловича отделали Николая Ивановича на славу. 2 февраля 1940 года в своем последнем слове Ежов перед лицом неминуемого расстрела утверждал: "Вчера еще в беседе с Берия он мне сказал: "Не думай, что тебя обязательно расстреляют. Если ты сознаешься и расскажешь все по-честному, тебе жизнь будет сохранена". После разговора с Берия я решил, лучше смерть, но уйти из жизни честным и рассказать перед судом только действительную правду. На предварительном следствии я говорил, что я не шпион, что я не террорист, но мне не верили и применяли ко мне избиения". Разумеется, отказ от выбитых на следствии признаний в шпионаже и заговоре никак не повлиял на судьбу "стального наркома". 4 февраля 1940 года Николая Ивановича расстреляли.
25 ноября 1938 года Сталин специальной шифрограммой известил о переменах, происшедших в НКВД, первых секретарей компартий республик, а также обкомов и крайкомов: "В середине ноября текущего года в ЦК поступило заявление из Ивановской области от т. Журавлева (начальника НКВД) о неблагополучии в аппарате НКВД, об ошибках в работе НКВД, о невнимательном отношении к сигналам с мест, предупреждающим о предательстве Литвина, Каменского, Радзивиловского, Цесарского, Шапиро (того самого, которому приходилось разбираться с делом Сефа. — Б. С.) и других ответственных работников НКВД, о том, что нарком т. Ежов не реагирует на эти предупреждения и т. д.
Одновременно в ЦК поступили сведения о том, что после разгрома банды Ягоды в органах НКВД СССР появилась другая банда предателей, вроде Николаева, Жуковского, Люшкова, Успенского, Пассова, Федорова (всех их, кроме застрелившегося Литвина и сбежавшего к японцам Люшкова, довелось расстреливать уже Берии. — Б. С.), которые запутывают нарочно следственные дела, выгораживают заведомых врагов народа, причем эти люди не встречают достаточного противодействия со стороны т. Ежова.
Поставив на обсуждение вопрос о положении дел в НКВД, ЦК ВКП(б) потребовал от т. Ежова объяснений. Тов. Ежов подал заявление, где он признал указанные выше ошибки, признал кроме того, что он несет ответственность за то, что не принял мер против бегства Люшкова (УНКВД Дальнего Востока), бегства Успенского (нарком НКВД Украины) (через полгода Успенского поймали люди Берии. — Б. С.), признал, что он явно не справился со своими задачами в НКВД и просил освободить его от обязанностей наркома НКВД, сохранив за ним посты по Наркомводу и по линии работы в органах ЦК ВКП(б).
ЦК ВКП(б) удовлетворил просьбу т. Ежова, освободил его от работы в НКВД и утвердил наркомом НКВД СССР по единодушному предложению членов ЦК, в том числе и т. Ежова, — нынешнего заместителя НКВД тов. Берия Л.П.
Текст заявления т. Ежова получите почтой.
С настоящим сообщением немедленно ознакомить начальников НКВД".
Смена власти в наркомате прошла без сучка и задоринки. Не только ни один из начальников областных и республиканских управлений внутренних дел не выступил в защиту Ежова и уж тем более не попытался поднять мятеж против Сталина, но даже никто из них не попытался сбежать, как это ранее сделали Люшков (удачно) и Успенский (неудачно). Чекисты ежовского призыва покорно ждали своей участи, как бараны, приведенные на бойню, и мало кто из них уцелел. Берия по приказу Сталина произвел широкомасштабную "смену караула" в своем ведомстве. А выход из системы на генеральском уровне был один: самоубийство или расстрел. Живых свидетелей прежних бессудных казней предпочитали не оставлять в живых.
26 ноября Берия в качестве главы НКВД подписал приказ о порядке осуществления постановления от 17 ноября. Из тюрем освобождались те арестованные, кто так и не признал свою вину, а также многие из тех, на кого не было других улик, кроме выбитых следователями признаний, от которых они впоследствии отказались. В 1939 году Берия издал ряд приказов о снятии с должностей и преданию суду работников НКВД, виновных в фальсификации уголовных дел. 9 ноября 1939 года появился приказ "О недостатках в следственной работе органов НКВД", предписывавший освободить из-под стражи всех незаконно арестованных и установить строгий контроль за соблюдением уголовно-процессуальных норм.
Бериевские выдвиженцы, которых он в августе 38-го захватил с собой в Москву, заняли ответственные посты в системе НКВД. Богдан Кобулов, бывший заместитель наркома внутренних дел Грузии, еще 29 сентября 1938 года был назначен начальником 2-го отдела Главного управления госбезопасности. А 17 декабря того же года Богдан Захарович стал заместителем начальника ГУГБ и начальником следственной части НКВД. Его брат Амаяк еще в сентябре 38-го был всего лишь начальником райотдела НКВД в Гаграх. Но уже в октябре он стал исполнять обязанности наркома внутренних дел Абхазии, а 7 декабря был назначен первым заместителем наркома внутренних дел Украины. Бывший нарком внутренних дел Грузии С.А. Гоглидзе стал главой Ленинградского НКВД. Новым наркомом внутренних дел Грузии Берия сделал А.Н. Рапаву, бывшего главу Совнаркома Абхазии, начинавшего свою карьеру в Грузинском ЧК уполномоченным Особого отдела еще в 1924 году. Бывшего заведующего промышленно-транспортным отделом ЦК компартии Грузии В.Н. Меркулова Лаврентий Павлович сделал своим первым заместителем и начальником Главного управления государственной безопасности. Всеволод Николаевич был не только кадровым чекистом с 21-го года и служил под началом Берии в Грузинском ГПУ. Он писал неплохие пьесы под псевдонимом "Всеволод Рокк" (не знаю, повлияло ли на выбор псевдонима знакомство с повестью Михаила Булгакова "Роковые яйца", где персонажа, вызвавшего из-за собственной небрежности катастрофический поход на Москву гигантских гадов зовут Александр Семенович Рокк). Меркуловская пьеса "Инженер Сергеев" — о борьбе с "фашистскими шпионами" с успехом шла в столичных театрах. А вот под своим именем Всеволод Николаевич выпустил брошюру "Лаврентий Берия — верный сын партии Ленина — Сталина". В феврале 41-го, с подачи Лаврентия Павловича, Меркулова назначили наркомом государственной безопасности СССР. Правда, в дальнейшем Берия разочаровался в его деловых качествах и, возможно стал одним из инициаторов его смещения с поста главы органов госбезопасности после Великой Отечественной войны. Еще один соратник Берии по Закавказью, бывший глава Госплана Грузии В.Г. Деканозов, в декабре 1938 года стал начальником разведывательного и контрразведывательного отделов и заместителем начальника ГУГБ НКВД. Владимир Георгиевич работал вместе с Лаврентием Павловичем еще в Бакинском подполье.