Однако Первая мировая война положила конец успехам русской разведки. Разведывательная служба Императорского Генерального штаба исчезла в хаосе крушения России. В марте 1917 года, после свержения царя, она была упразднена как орудие угнетения и контрреволюции.
Но каникулы секретной службы не могли длиться вечно. В марте 1918 года после подписания в Брест-Литовске российско-германского мирного договора, молодая советская республика оказалась в окружении. С севера, востока и юга при поддержке войск Антанты наступали белогвардейцы, а на западе, несмотря на мирный договор, наступали немцы. Чтобы выжить, требовалось заранее знать каждый шаг своего противника. Самую большую опасность представляли немцы они оккупировали значительную часть территории России.
К концу 1918 года новая секретная служба была сформирована в Народном комиссариате по военным делам и первоначально получила известность как Регистрационный отдел Красной Армии. В начале двадцатых годов она стала Четвертым управлением Генерального штаба, а ещё пять лет спустя превратилась в Разведупр, сокращение от Главного разведывательного управления. Его первым руководителем был старый большевик Ян Карлович Берзин, ставший впоследствии генералом. Давний друг Владимира Ильича Ленина, он несколько раз был приговорен к смерти и пожизненной ссылке. Французский писателькоммунист Анри Барбюс описывал его в 1931 году, как" мужчину лет пятидесяти, в военной форме с двумя Орденами Красного Знамени на груди... ростом около ста семидесяти сантиметров, с бритой головой".
Вскоре у него появилось немало врагов среди иностранных коммунистов, поскольку Берзин явно ставил интересы безопасности России выше интересов мирового коммунистического движения.
Берзин изучал методы работы царской секретной службы, копировал их и улучшал. Со временем он создал центральный орган во главе с руководителем, первый помощник которого официально назывался командиром, что говорило о его ответственности за техническое и административное управление секретной службой.
Берзин создал в главном управлении шесть подразделений: Первое "Агентура" - отвечало за работу агентов за границей. Второе - "Оперативное управление" - занималось военной разведкой, диверсионной деятельностью и шпионажем. Третье - "Информационное управление" - отвечало за сбор, оценку и распространение полученной информации. Четвертое - "Главное управление подготовки" - контролировало отбор и обучение агентов и информаторов. Пятое - "Управление внешних сношений" - отвечало за инструктаж военных атташе. Шестое - "Управление разведывательной связи" (созданное позднее) занималось радиоразведкой.
Самым главным было Оперативное управление. Оно состояло из шести отделов, первые три из которых были созданы по географическому признаку: Западная Европа, Ближний Восток, Америка с Дальним Востоком и Индией. Четвертый отдел отвечал за приобретение технического разведывательного оборудования (радиопередатчики, чернила для тайнописи, фототехника и т. д.); пятый организовывал террористические операции за рубежом, а шестой занимался дезинформацией. Во время Второй мировой войны в западных военных округах дополнительно создавались шифровальные и разведывательные отделы.
Главное управление в Москве на Кропоткинской напрямую было связано с советскими дипломатическими миссиями за рубежом. В большинстве случаев работа велась через являвшихся его представителями военных атташе, которые получали инструкции из Москвы и передавали их резидентам - настоящим руководителям агентуры в соответствующих странах. Резидент жил за пределами посольства или дипломатической миссии, чаще всего был советским гражданином и руководил двумя-тремя группами информаторов. Он передавал информацию военному атташе, который был для него единственным каналом связи с центром.
Резидент и его агенты могли действовать независимо только в случае войны; до начала военных действий военный атташе должен был обеспечить их радиопередатчиками, хранившимися в каждом посольстве, кодами и деньгами, а затем контакты с Москвой становились анонимными, через радиостанцию в Москве.
За работой атташе и резидента следила довольно сложная система контроля. Проверяющие из Москвы приезжали без предупреждения и изучали всю документацию военного атташе - центр требовал пунктуальной точности. Военный атташе должен был вести журнал, в котором регистрировался каждый контакт с важными с точки зрения разведки лицами. При этом использовались стандартные выражения - был это "контакт", "обычный контакт" или "срочный контакт".
Проверяющие отмечали также, насколько отчужденно держится военный атташе от остального персонала. В любом посольстве атташе работали в секретной зоне, зарезервированной за работниками московских спецслужб, тайном мире за звуконепроницаемыми стенами, автоматическими стальными дверями и глазками в коридорах. На третьем этаже советского посольства в Берлине, стокомнатного здания на фешенебельной Унтер дер Линден, целый ряд помещений был отведен под фотолабораторию, склад оружия, радиостанций и оборудование для подделки паспортов.
Проверяющие следили за строгим соблюдением правил конспирации. Каждый член шпионской сети имел свою кличку и номер, данные центром. Обращаться по именам было категорически запрещено. Часто используемые слова переводились на специальный жаргон, так например, паспорт назывался "сапогом", человек, занимающийся подделкой паспортов - "сапожником", пистолет - "машинкой", а вражеские контрразвечики - "ищейками".
Контакты между агентами осуществлялись по строгим правилам. Они не могли навещать друг друга дома, ссылаться на псевдонимы, адреса и организационные подробности в письмах или по телефону. Письменные сообщения немедленно уничтожались, было запрещено вести дневники. Русские настаивали на строгом соблюдении правил; когда агенты встречались на явке, они в первую очередь должны были принять меры предосторожности на случай вторжения полиции.
Члены шпионской сети вряд ли были знакомы друг с другом. Согласно Кукриджу существовало правило, по которому, резидент А знал лично Б1, Б2 и Б3, работавших под его началом, но они, по крайней мере теоретически, не были знакомы. Б1 знал В1, В2 и В3, хотя, вероятно, встречался только с В1, который мог поддерживать связь с Г1 и так далее. Только А знал имена всех сотрудников различных групп, которые не были знакомы между собой.
Но где русская разведка набирала своих иностранных агентов?
Берзин мог рассчитывать только на один источник - местные компартии. Он даже представить себе не мог, что какой-либо зарубежный коммунист не захотел бы помочь советской разведке. Давление со стороны центра на максимальный набор сотрудников среди иностранных коммунистов со временем стало ещё сильнее.
Здесь мы видим первый признак того, что власть резидента была ограниченной. На сеть коммунистических агентов за рубежом претендовала ещё одна служба - советская секретная полиция под руководством Феликса Дзержинского. Этот выходец из дворян был близок с Лениным и являлся беспощадным соперником Берзина ещё с момента образования Советского государства, поскольку секретная полиция стремилась ограничить деятельность Разведупра только военной разведкой.
Такая конкуренция не была свойственна лишь Советскому Союзу; тайная полиция и разведка всегда враждовали между собой, были ли это СД с абвером в гитлеровской Германии или ФБР с ЦРУ в Соединенных Штатах. Но в Советской России существовала ещё одна особенность: организация Дзержинского образовалась в 1917 году под названием "Чрезвычайная комиссия по борьбе с контрреволюцией и саботажем" - или "Чека" по начальным буквам первых двух слов, и получила полный контроль за государственной безопасностью. В 1922 году её переименовали в ГПУ (сокращение от Главного Политического Управления), и она потеряла часть своей абсолютной власти. Тем не менее Дзержинский сохранил свое превосходство над другими секретными службами.
Разведупр оказался в значительной мере ущемленным со стороны ГПУ. Разведка и контрразведка в Красной Армии и пограничных военных округах были переданы не Четвертому управлению разведывательной службы, а Третьему управлению Военного наркомата, отделы состояли исключительно из офицеров ГПУ и подчинялись специальному подразделению - Особому отделу.
Создание этого подразделения ознаменовало дальнейшее снижение авторитета разведслужбы, поскольку Особый отдел отвечал за всю шифровальную службу. Шифровальный отдел располагался в доме шесть на Лубянке в Москве, но только две комнаты этого здания были отведены для группы военных шифровальщиков под началом полковника Каркевича. Хотя ему и разрешалось передавать информацию непосредственно в Генеральный Штаб Красной Армии, но находился он в подчинении главы Особого отдела Глеба Бокия.