При Артузове продолжилось расширение полномочий ИНО. С февраля 1933 года Иностранному отделу предоставлялось право ведения следствия по возникающим в ИНО делам.
В апреле 1933 года был введен новый штат ИНО. Заместителем начальника был утвержден А. А. Слуцкий, помощником — С. В. Пузицкий (занимавший эту должность с ноября 1931 года), начальником 1 -го отделения — Н. И. Эйтингон, 2-го отделения — Я. М. Бодеско, 3-го отделения — О. О. Штейнбрюк, 4-го отделения — К. С. Баранский, 5-го отделения — А. П. Федоров,, 6-го отделения — И. Г. Герт (почти сразу его сменил Я. Г. Минскер), 7-го отделения — Э. Я. Фурман, 8-го отделения — П. Д. Гутцайт. Штат отдела составил 110 человек.
Постановлением ЦИК СССР 10 июля 1934 года ОГПУ при СНК СССР было ликвидировано. Был образован Народный комиссариат внутренних дел (НКВД СССР). Наркомом внутренних дел стал бывший заместитель председателя ОГПУ Генрих Григорьевич Ягода.
В результате реорганизации самостоятельные оперативные подразделения ОГПУ, в том числе ИНО, были объединены в Главное управление государственной безопасности (ГУГБ). Формально работой ГУГБ руководил сам нарком внутренних дел СССР Ягода, так как в этот период должности начальника ГУГБ не существовало. Фактически всю текущую работу аппарата госбезопасности возглавлял первый заместитель наркома Я. С. Агранов. Вторым заместителем наркома был назначен Г.Е.Прокофьев. Оба они ранее были заместителями председателя ОГПУ СССР.
После создания ГУГБ была изменена и структура центрального аппарата внешней разведки. Начальником ИНО по-прежнему был Артузов, а штат отдела составил 81 человек. Но теперь ИНО состоял из двух отделов и двух самостоятельных отделений. В 1-й отдел— закордонная разведка — входило 9 географических секторов. Во 2-й отдел — внешняя контрразведка — входило 6 секторов, которые занимались борьбой с диверсиями, террором, шпионажем зарубежных спецслужб и белоэмигрантских центров на территории СССР.
21 мая 1935 года начальник внешней разведки Артузов был переведен в Разведупр Штаба Красной Армии первым заместителем начальника. Там он проработал до января 1937 года, когда был освобожден от должности и откомандирован в НКВД — научным сотрудником 8-го (учетно-регистрационного) отдела ГУГБ. 13 мая того же года Артур Христианович Артузов был арестован и через три месяца, 21 августа 1937 года, расстрелян «в особом порядке». Посмертно реабилитирован в 1956 году.
Начальником ИНО стал бывший заместитель Артузова Абрам Аронович Слуцкий.
Он родился в июле 1898 года в селе Парафиевка Борзиянского уезда Черниговской губернии в семье железнодорожного служащего. Учился в гимназии в Андижане, куда переехал с семьей, работал учеником слесаря на заводе. В 1916—1917 годы служил в армии, затем вернулся в Андижан, закончил гимназию. Участвовал в установлении советской власти и гражданской войне в Средней Азии, работал в уездном исполкоме и укоме партии большевиков (вступил в 1917 г.) в Андижане, был на политработе (Туркестанский фронт), в 1920— 1921 годы — в ТуркЧК. Затем в Ташкенте в органах юстиции и на партийной работе. С 1923 года в Москве — председатель военного трибунала стрелкового корпуса (Московский военный округ), на хозяйственной работе в ВСНХ. В 1926 году Слуцкий перешел в ОГПУ, работал в Экономическом управлении (помощник начальника и начальник отделения, заместитель начальника ЭКУ). С
1930 года во внешней разведке — помощник, с августа
1931 года — заместитель начальника ИНО. Одновременно был главным резидентом ИНО по странам Европы, работая в Берлине под прикрытием должности сотрудника торгпредства в 1931—1933 годы.
26 сентября 1936 года Генеральный комиссар госбезопасности Генрих Ягода был освобожден от должности наркома ВД СССР и назначен наркомом связи СССР. На его место был назначен секретарь ЦК ВКП(б) Николай Иванович Ежов, имевший задание «почистить» аппарат государственной безопасности. С приходом Ежова в НКВД СССР в ГУГБ произошли многочисленные изменения. 25 декабря 1936 года отделам ГУГБ НКВД СССР в целях конспирации были присвоены номера. В результате разведка заняла в структуре ГУГБ НКВД СССР следующее место: 7-й отдел (Иностранный отдел) (ИНО). Начальник — комиссар госбезопасности 2-го ранга А. А. Слуцкий. К 1938 году отдел состоял из руководства (начальник и его заместители), секретариата, хозяйственного, кадрового, финансового подразделений и 11 отделений. В штате отдела было 210 человек.
Деятельность разведки в этот период была очень успешной, особенно в Англии, Германии, Испании, Китае и Японии.
Репрессии конца 30-х годов нанесли огромный ущерб и внешней разведке. В это время были арестованы практически все руководители ИНО и многие ведущие разведчики. Были арестованы бывшие начальники ИНО М. А. Трилиссер, С. А. Мессинг, А. X. Артузов. А. А. Слуцкий 17 февраля 1938 года скоропостижно скончался в кабинете первого заместителя Ежова М. П. Фриновского (существует версия его отравления). После смерти Слуцкого исполняющим обязанности начальника ИНО был назначен майор госбезопасности Сергей Михайлович Шпигельглаз. Но и он пробыл на этой должности менее двух месяцев. 28 марта 1938 года его сменил старший майор госбезопасности Залман Исаевич Пассов. Шпигельглаз в ноябре 1938 года был арестован, в январе 1941 года расстрелян. В это же время было репрессировано и большое число ведущих разведчиков. Среди них можно назвать: резидентов в Лондоне — Чапского, Г. Б. Графлена и Т. Малли, в Париже — С. М. Глинского (Смирнова) и Г. Н. Косенко (Кислова), в Риме — М. М. Аксельрода, в Берлине — Б. М. Гордона, в Нью-Йорке — П. Д. Гутцайта (Гусева), выдающихся разведчиков-нелегалов Д. А. Быстролетова, Б. Я. Базарова и многих других. Всего же в результате так называемых «чисток» в 1937—1938 годах из 450 сотрудников ИНО (включая загранаппарат) было репрессировано 275 человек, то есть более половины личного состава. Со многими ценными агентами прервалась связь, восстановить которую удавалось далеко не всегда. В 1938 году в течение 127 дней подряд из ИНО руководству страны вообще не поступало никакой информации.
После реорганизации органов госбезопасности в начале 1938 года в структуру 1-го управления НКВД СССР (начальник — первый замнаркома комкор М. П. Фриновский) вошла разведка как 5-й (иностранный) отдел, его начальником был назначен старший майор госбезопасности 3. И. Пассов.
Залман Исаевич Пассов родился в апреле 1905 года в городе Старая Русса в семье приказчика. Окончил 5 классов школы там же. Служил в Красной Армии, с 1922 года в ГПУ (в Новгородском и Псковском губотделах). В 1928 году вступил в партию. Окончил в 1929 году Высшую пограничную школу ОГПУ, служил в особом отделе дивизии в Ленинградском военном округе, с 1930 года — в Москве в 00 ОГПУ-ГУГБ НКВД-КРО ГУГБ (уполномоченный, замначальника и начальник отделения, с 1937 года — заместитель начальника отдела).
Однако Сталин уже готовил замену Ежову. Еще 8 апреля 1938 года нарком внутренних дел СССР Ежов был назначен по совместительству наркомом водного транспорта СССР. Вместе с ним на работу в систему наркомвода перешли свыше двух десятков руководящих работников НКВД. А 22 августа 1938 года первым заместителем наркома внутренних дел СССР был назначен первый секретарь ЦК КП(б) Грузии Лаврентий Павлович Берия, а бывший первый заместитель наркома и начальник 1-го управления НКВД СССР М. П. Фриновский 8 сентября был освобожден от своих должностей в НКВД и назначен наркомом Военно-Морского Флота СССР.
29 сентября 1938 года Л. П.Берия был назначен начальником восстановленного ГУГБ НКВД СССР, его заместителем стал бывший заведующий отделом ЦК КП(б) Грузии Всеволод Николаевич Меркулов.
Внешняя разведка вошла в ГУГБ в качестве 5-го (иностранного) отдела. Структура его была перестроена и состояла из начальника, двух его заместителей, секретариата, хозяйственного, кадрового и финансового отделений и 12 оперативных отделений. Штат составил 210 человек.
3 октября 1938 года приказом наркома внутренних дел Ежова был создан специальный учебный центр для подготовки разведчиков — Школа особого назначения (ШОН) ГУГБ НКВД СССР. Первым начальником ШОН стал В. X. Шармазанашвили, а преподавали в ней С. М. Шпигельглаз, В. С. Гражуль, П. М. Журавлев, П. А. Судоплатов, В. М. Зарубин и другие. Первыми выпускниками ШОН были будущий начальник ИНО П. М. Фитин, резиденты В. Г. Павлов, Е. Т. Синицын, А. С. Феклисов, А. А. Яцков и другие (в настоящее время — Академия СВР РФ).
