Внешняя разведка вошла в ГУГБ в качестве 5-го (иностранного) отдела. Структура его была перестроена и состояла из начальника, двух его заместителей, секретариата, хозяйственного, кадрового и финансового отделений и 12 оперативных отделений. Штат составил 210 человек.
3 октября 1938 года приказом наркома внутренних дел Ежова был создан специальный учебный центр для подготовки разведчиков — Школа особого назначения (ШОН) ГУГБ НКВД СССР. Первым начальником ШОН стал В. X. Шармазанашвили, а преподавали в ней С. М. Шпигельглаз, В. С. Гражуль, П. М. Журавлев, П. А. Судоплатов, В. М. Зарубин и другие. Первыми выпускниками ШОН были будущий начальник ИНО П. М. Фитин, резиденты В. Г. Павлов, Е. Т. Синицын, А. С. Феклисов, А. А. Яцков и другие (в настоящее время — Академия СВР РФ).
9 декабря 1938 года Н.И.Ежов был освобожден от должности наркома внутренних дел СССР, а на его место был назначен Л. П. Берия. 17 декабря 1938 года первым заместителем наркома внутренних дел СССР и начальником ГУГБ был назначен комиссар госбезопасности 3-го ранга В. Н. Меркулов.
Пришедший к руководству Наркоматом внутренних дел Л. Берия расставил на ключевые посты своих людей, прибывших вместе с ним из Грузии. Кроме того, им была проведена «чистка» ежовских кадров как в Центре, так и на местах. Все эти перестановки затронули и внешнюю разведку.
22 октября 1938 года был арестован начальник ИНО Пассов (расстрелян в феврале 1940 года). После ареста Пассова исполняющим обязанности начальника ИНО стал один из его заместителей — Павел Анатольевич Судоплатов. Он возглавлял разведку до 2 декабря 1938 года, когда начальником 5-го отдела (ИНО) ГУГБ был назначен комиссар госбезопасности 3-го ранга Владимир Георгиевич Деканозов.
Владимир Георгиевич Деканозов родился в Баку в июне 1898 года в семье чиновника Нефтяного управления. Окончил гимназию в Тифлисе, учился на медицинском факультете Бакинского университета. В период буржуазной республики в Азербайджане работал в Нефтяном управлении и Министерстве здравоохранения. С 1920 года большевик, служил в Красной Армии и в ЧК-ГПУ (от уполномоченного до начальника экономического отдела ГПУ Закавказской Федерации). В 1931 году В. Г. Деканозов вместе с Берией переходит на партийную работу, был секретарем ЦК КП(б) Грузии, наркомом пищевой промышленности и председателем Госплана Грузинской ССР.
Одновременно Деканозов являлся начальником 3-го (контрразведывательного) отдела ГУГБ и заместителем начальника ГУГБ В. Меркулова.
Структура 5-го отдела в 1939 году включала в себя 17 отделений (14 географических и отделения научно-технической разведки, оперативной техники, виз и учета иностранцев).
В.Деканозов 13 мая 1939 года был освобожден от должности начальника ИНО и назначен заместителем наркома иностранных дел. Одновременно е 1940 года до начала Великой Отечественной войны он был советским послом в Германии. В 1947—1953 годы на хозяйственной работе. В апреле 1953 года назначен министром внутренних дел Грузии. В июне того же года арестован, 23 декабря 1953 года по приговору Специального судебного присутствия Верховного суда СССР расстрелян по делу Берии.
Преемником Деканозова стал старший майор госбезопасности Павел Михайлович Фитин. Он родился 16(28) декабря 1907 года в селе Ожогино Ялуторовского уезда Тобольской губернии в крестьянской семье. Окончил среднюю школу, был на комсомольской работе в Западной Сибири. В 1932 году окончил Московский институт механизации и электрификации сельского хозяйства, с октября того же года заведовал редакцией индустриальной литературы Сельскохозяйственного государственного издательства. В 1934—1935 годы служил в Красной Армии. После демобилизации работал в том же издательстве редактором редакции механизации и заместителем главного редактора. В марте 1938 года по партнабору был направлен на учебу в Центральную школу НКВД, после окончания которой, в августе того же года, был зачислен в 5-й отдел ГУГБ НКВД стажером. За 3 месяца Фитин успел побывать оперуполномоченным и начальником отделения и уже в ноябре 1938 года становится (в связи с нехваткой кадров) заместителем начальника отдела.
Новое руководство ИНО в первую очередь сосредоточило внимание на подборе руководителей резидентур. В 1939—1940 годы за рубеж были направлены такие опытные разведчики, как М. А. Аллахвердов, В. М. Зарубин,
Е. Ю. Зарубина, А. М. Коротков, Б. А. Рыбкин, 3. И. Рыбкина, В. А. Тахчианов, Д. Г. Федичкин. Были командированы за кордон и многие молодые способные разведчики: Н. М. Горшков, Г. Н. Калинин, Е. И. Кравцов, А. И. Леоненко, В. Г. Павлов, А. К. Тринев и другие.
Благодаря этому к середине 1940 года работоспособность разведки была восстановлена. В ее центральном аппарате в Москве работало 695 человек, а 242 разведчика было командировано за границу.
В 1941 году были проведены новые реорганизации и кадровые перестановки. 3 февраля состоялось заседание Политбюро, на котором было принято постановление о разделении НКВД СССР на два наркомата: НКВД СССР и НКГБ СССР с выделением всех оперативно-чекистских подразделений из НКВД в НКГБ, а на местах — из НКВД-УНКВД республик, краев и областей в НКГБ-УНКГБ. В тот же день, 3 февраля появились указы Президиума ВС СССР о разделении НКВД СССР, о назначении наркомом внутренних дел СССР Л. П. Берии, а наркомом государственной безопасности СССР В. Меркулова. Был подписан и указ о назначении Л.П.Берии заместителем председателя Совета народных комиссаров СССР (по совместительству), которому было поручено курировать работу НКВД, НКГБ, наркоматов лесной промышленности, цветной металлургии, нефтяной промышленности и речного флота.
Разведка и контрразведка оказались в структуре НКГБ. Внешняя разведка (5-й отдел ГУГБ НКВД СССР) была реорганизована в 1-е управление (разведка за границей) НКГБ СССР. Начальником управления 26 февраля 1941 года был назначен П. М. Фитин.
К началу Великой Отечественной войны в структуру 1-го управления НКГБ входили руководство управления, секретариат, 8 отделов (из них 6 оперативных).
В центральном аппарате управления работало около 120 человек, включая технический персонал. За рубежом действовало 45 легальных и 14 нелегальных резидентур. В Германии, Франции, Англии помимо легальной работало от 2 до 4 нелегальных резидентур. Кроме того, в УНКГБ приграничных районов (Хабаровский край, Архангельская, Брестская, Ленинградская, Львовская и Читинская области) были образованы местные подразделения внешней разведки — 1-е (разведывательные) отделы.
Великая Отечественная война
Через месяц после начала Великой Отечественной войны 20 июля 1941 года НКВД и НКГБ были объединены в единый НКВД СССР во главе с Л. П. Берией, членом Государственного комитета обороны (ГКО). В. Н. Меркулов стал первым заместителем наркома внутренних дел.
Внешняя разведка вошла в НКВД в качестве 1-го (разведка за границей) управления, начальником которого 31 июля 1941 года был назначен П. М. Фитин. В структуру центрального аппарата 1-го управления вошли руководство разведки (начальник и его заместители), секретариат, Школа особого назначения (ШОН), Группы «А» и «Б», отдел «X» (связь), 9 оперативных отделов (8 географических и отдел совколоний). Научно-техническая разведка была передана в соответствующие географические отделы. Как самостоятельная линия НТР была сохранена только в 5-м (англо-американском) отделе, где было создано 4-е отделение, которым в 1941— 1942 годах руководил Леонид Романович Квасников.
В 1942 году структура 1-го управления была реорганизована и включала в себя 6 отделов (в каждом по 3 отделения, кроме 2-го отдела, где было 2 Отделения), отделение связи, группу «А» и ШОН. Штат 1-го управления составили 135 человек.
В период войны всю свою деятельность внешняя разведка вела через легальные и нелегальные резидентуры, специально создаваемые разведгруппы, а также отдельных разведчиков или агентов, посылаемых в те страны, где резидентур не было. Во время войны легальные и нелегальные резидентуры внешней разведки действовали в Англии, США, Швеции, Болгарии, Китае, Иране, Турции, Афганистане, Японии. А в 1943—1945 годах были созданы резидентуры в Египте, Италии, Франции, Финляндии, Румынии и Венгрии., В общей сложности к концу войны за рубежом действовало свыше 96 легальных и нелегальных резидентур, а в отдельных странах (Англия, США, Китай, Иран и других), как и ранее, имелось по нескольку разведаппаратов.
Директива СНК СССР и ЦК ВКП(б) от 29 июня 1941 года «О мобилизации всех сил и средств на разгром фашистских захватчиков», выступление Сталина по радио 3 июля и постановление ЦК ВКП(б) от 18 июля 1941 года «Об организации борьбы в тылу германских войск» предполагали в числе прочего создание в тылу противника «невыносимых условий» для врага и его пособников, формирование партизанских отрядов и диверсионных групп для взрыва мостов, дорог, порчи телефонной и телеграфной связи, поджогов лесов, складов и обозов».
