Новым начальником 3 отдела стал (по совместительству) заместитель наркома внутренних дел комиссар госбезопасности 3-го ранга В.М. Курский, в 20-х гг. руководивший контрразведкой в полномочном представительстве ОГПУ по Северо-Кавказскому краю, один из руководителей операции «Заморское», а с декабря 1936 г. по июнь 1937 г. являвшийся руководителем 4-го (секретно-политического) и 1-го (охрана руководителей партии и правительства) отделов ГУГБ НКВД. В КРО он проработал меньше месяца. 8 июля, через шесть дней после награждения орденом Ленина, В.М. Курский застрелился. 3-й отдел возглавил (в качестве временно исполняющего должность) комиссар госбезопасности 3-го ранга A.M. Минаев-Цикановский (его фамилия также писалась Циконовский, Цекановский, Цехановский), бывший эсер, отбывший 8 лет царской каторги, работавший в ЧК с 1918 г. — на Украине, Северном Кавказе, в Москве, Средней Азии, на Урале и в Сталинграде, заместитель начальника 3-го отдела с апреля 1937 г. Этот работник стал одним из ближайших помощников Ежова в проведении репрессий. В 1937–1938 гг. контрразведка, как и другие подразделения НКВД, понесла тяжелые потери. Одним из первых был арестован в конце 1935 г. Ю.И. Маковский, к тому времени начальник Особого отдела управления НКВД по Омской области. Погибли бывшие руководители советской контрразведки А.Х. Артузов, Я.К.Ольский, Г.Е. Прокофьев, М.И. Гай, И.М. Леплевский, Л.Г. Миронов, их заместители — Р.А. Пилляр, Э.П. Салынь, С.В. Пузицкий, И.И. Сосновский, Н.И. Добродицкий, М.С. Горб, С.М. Деноткин, С.Г. Волынский, B.C. Валик, начальники отделений и оперуполномоченные в Центре и на местах (многие из них сами участвовали в незаконных репрессиях). КРО, в частности, вел дела сотрудников Коминтерна, Коминтерна молодежи (КИМ), Красного интернационала профсоюзов (Профинтерн), МОПР и других международных организаций, иностранных коммунистов, политэмигрантов.
В то же время продолжалась борьба со шпионажем, хотя ее эффективность была снижена участием КРО в политических репрессиях. Контрразведка НКВД в 1936–1938 гг. наибольших результатов добилась в пресечении деятельности германской разведки и ее резидентов в Белоруссии, Москве и Ленинграде, легально работавших в СССР в качестве немецких специалистов. В Средней Азии, Донбассе, Днепропетровской области УССР и Приморье резидентурами, как было установлено контрразведчиками, руководили германские консулы.
На Дальнем Востоке контрразведчики пресекали попытки японских спецслужб перебросить через советскую границу агентов, завербованных из числа эмигрантов и осевших в Маньчжурии («Братство русской правды» и «Национальный союз нового поколения»). Сотрудники японского посольства в Москве и консульств в Новосибирске, Хабаровске, Владивостоке и других городах предпринимали попытки организации разведывательной сети, которые были пресечены в 1935–1937 гг. в ходе проведенных контрразведкой операций. После принятого 10 октября 1937 г. с санкции Политбюро ЦК ВКП(б) оперативного приказа НКВД, согласно которому сотрудникам КРО предлагалось «немедленно арестовывать всех советских граждан, связанных с личным составом диппредставительств и посещающих их служебные и домашние помещения» и требовалось обеспечить «беспрерывное наблюдение» за всеми сотрудниками посольств Германии, Японии, Италии, Польши, в СССР было закрыто большое количество консульств этих стран.
В ходе очередной реорганизации НКВД 3-й отдел 28 марта 1938 г. вошел в состав 1-го управления НКВД (управления госбезопасности), а его новым начальником, вместо перешедшего на работу в 6-й отдел Минаева-Цикановского (за год своего руководства контрразведкой он так и не был утвержден в должности начальника, оставшись «и.о.»), стал комиссар госбезопасности 3-го ранга Н.Г. Николаев-Журид, ранее уже работавший в КРО-ОО, непосредственно перед назначением возглавлявший военную контрразведку. По совместительству Н.Г. Николаев-Журид являлся заместителем начальника 1-го управления НКВД — 1-го заместителя наркома комкора М.П.Фриновского.
Заместителем Николаева-Журида был его сослуживец по Ростову-на-Дону майор госбезопасности М.А. Листенгурт. 29 сентября того же года, после восстановления ГУГБ, Н.Г. Николаев-Журид остался начальником 3-го отдела, перестав при этом быть заместителем начальника ликвидированного 1-го управления.
Заместителем начальника ГУГБ стал приехавший из Грузии, вместе с новым 1-м зам. наркома и начальником ГУГБ Л.П. Берия, бывший завотделом ЦК КП(б) Грузии В.Н. Меркулов. Через месяц, 25 октября 1938 г., Меркулов сменил арестованного в тот же день Николаева-Журида (был арестован и Листенгурт) на посту руководителя контрразведки. Но он также недолго проработал на этом посту. 17 декабря Меркулов был назначен 1-м заместителем нового наркома Л.П.Берия — начальником ГУГБ. Начальником 3-го отдела стал также выходец из Тбилиси комиссар госбезопасности 3-го ранга В.Г. Деканозов, за две недели до этого возглавивший 5-й (иностранный) отдел ГУГБ. 17 же декабря Деканозов стал по совместительству заместителем начальника ГУГБ, оставаясь при этом руководителем разведки. Такое совмещение постов было единственным случаем в истории советских органов госбезопасности.
В марте 1939 г. Деканозов на XVIII съезде партии был избран кандидатом в члены ЦК; 13 мая 1939 г. покинул НКВД, перейдя на дипломатическую работу — заместителем нового наркома иностранных дел В.М. Молотова (сменившего М.М. Литвинова).
Начальником 3-го отдела 25 июня того же года стал майор госбезопасности Т.Н. Корниенко, выходец из рабочих, после окончания аспирантуры Института востоковедения имени Н. Нариманова работавший в Особом Контрразведывательном отделе ОГПУ-ГУГБ НКВД, где прошел путь от помощника оперуполномоченного до заместителя начальника отдела. В период его руководства отделом (на декабрь 1939 г.) структура советской контрразведки выглядела следующим образом:
1-е отделение (Германия, Венгрия);
2-е отделение (Япония, Китай);
3-е отделение (Англия);
4-е отделение (Франция, Италия, Бельгия, Швейцария, Испания);
5-е отделение (Румыния, Греция, Болгария, Югославия);
6-е отделение (работа по оккупированной Польше);
7-е отделение (Финляндия, Швеция, Норвегия, Дания);
8-е отделение (САСШ и страны Южной Америки);
9-е отделение (Турция, Иран, Афганистан);
10-е отделение (белогвардейские контрреволюционные элементы);
11-е отделение (Латвия, Эстония, Литва);
12-е отделение (НКИД, полпредства и консульства);
13-е отделение (ИККИ, МОПР);
14-е отделение (НКВТ, торгпредства);
15-е отделение (Интурист и ВОКС, частично охрана дипкорпуса ОДК): политотдел ОДК;
16-е, 17-е, 18-е отделения ОДК.
Как видим, структура контрразведки усложнилась по сравнению с предыдущим периодом. Во многом это было связано с начавшейся Второй мировой войной.
Главным противником советской контрразведки были спецслужбы нацистской Германии, которые после подписания в августе 1939 г. советско-германского пакта о ненападении усилили работу против СССР с легальных позиций. Немецкие разведчики вели ее под прикрытием различных комиссий по переселению немцев в Германию с территорий, отошедших к СССР, торговых делегаций. Так, в январе 1940 г. среди членов германской торговой делегации был выявлен с помощью советской военной разведки сотрудник немецкой разведки. КРО УНКВД Ленинградской области были зафиксированы факты систематической посадки на мель вблизи Кронштадтской военно-морской базы германских торговых судов. Работа по противодействию немцкой разведке в 1939–1940 гг. велась в основном в Западной Украине, Западной Белоруссии, республиках Прибалтики, вошедших в состав СССР. В этих регионах число арестованных органами госбезопасности иностранных агентов возросло с 40 до 62 % от их общего количества, хотя там проживало немногим более 10 % населения СССР.
Руководство НКГБ принимало меры по улучшению агентурно-осведомительной службы. Приказами по ведомству предписывалось, чтобы оперативный сотрудник руководил работой только резидента, который осуществлял связь с прикрепленными к нему осведомителями; агенты, т. е. секретные сотрудники, участвовавшие в оперативных разработках, должны были находиться на личной связи только с оперативным сотрудником. В оставшиеся до начала войны месяцы НКГБ не удалось действенно перестроить агентурно-осведомительную сеть, годами осуществлявшую тотальное наблюдение за огромным количеством рядовых граждан. Но контрразведывательный режим в стране был все же усилен: более эффективно, используя секретное фотографирование, стала работать наружная разведка, улучшилась деятельность радиоконтрразведывательной службы, широко использовалась специальная техника (прослушивание), повысились требования к работе службы политконтроля и оперативного учета.
Велось наблюдение за посольствами, в первую очередь Германии и ее сателлитов. Этим занималось 1-е отделение 3-го отдела во главе с капитаном госбезопасности (соответствовало званию полковника в РККА) B.C. Рясным. Чекисты установили подслушивающее устройство в кабинете немецкого военного атташе в Москве генерала Э. Кестринга. Одним из сотрудников, занимавшихся оперобслуживанием немецкого посольства, был Н.И. Кузнецов, впоследствии знаменитый разведчик, действующий на временно оккупированной фашистами территории СССР.
