Вскоре у него появилось немало врагов среди иностранных коммунистов, поскольку Берзин явно ставил интересы безопасности России выше интересов мирового коммунистического движения.
Берзин изучал методы работы царской секретной службы, копировал их и улучшал. Со временем он создал центральный орган во главе с руководителем, первый помощник которого официально назывался командиром, что говорило о его ответственности за техническое и административное управление секретной службой.
Берзин создал в главном управлении шесть подразделений: Первое «Агентура» — отвечало за работу агентов за границей. Второе — «Оперативное управление» — занималось военной разведкой, диверсионной деятельностью и шпионажем. Третье — «Информационное управление» — отвечало за сбор, оценку и распространение полученной информации. Четвертое — «Главное управление подготовки» — контролировало отбор и обучение агентов и информаторов. Пятое — «Управление внешних сношений» — отвечало за инструктаж военных атташе. Шестое — «Управление разведывательной связи» (созданное позднее) занималось радиоразведкой.
Самым главным было Оперативное управление. Оно состояло из шести отделов, первые три из которых были созданы по географическому признаку: Западная Европа, Ближний Восток, Америка с Дальним Востоком и Индией. Четвертый отдел отвечал за приобретение технического разведывательного оборудования (радиопередатчики, чернила для тайнописи, фототехника и т. д.); пятый организовывал террористические операции за рубежом, а шестой занимался дезинформацией. Во время Второй мировой войны в западных военных округах дополнительно создавались шифровальные и разведывательные отделы.
Главное управление в Москве на Кропоткинской напрямую было связано с советскими дипломатическими миссиями за рубежом. В большинстве случаев работа велась через являвшихся его представителями военных атташе, которые получали инструкции из Москвы и передавали их резидентам — настоящим руководителям агентуры в соответствующих странах. Резидент жил за пределами посольства или дипломатической миссии, чаще всего был советским гражданином и руководил двумя-тремя группами информаторов. Он передавал информацию военному атташе, который был для него единственным каналом связи с центром.
Резидент и его агенты могли действовать независимо только в случае войны; до начала военных действий военный атташе должен был обеспечить их радиопередатчиками, хранившимися в каждом посольстве, кодами и деньгами, а затем контакты с Москвой становились анонимными, через радиостанцию в Москве.
За работой атташе и резидента следила довольно сложная система контроля. Проверяющие из Москвы приезжали без предупреждения и изучали всю документацию военного атташе — центр требовал пунктуальной точности. Военный атташе должен был вести журнал, в котором регистрировался каждый контакт с важными с точки зрения разведки лицами. При этом использовались стандартные выражения — был это «контакт», «обычный контакт» или «срочный контакт».
Проверяющие отмечали также, насколько отчужденно держится военный атташе от остального персонала. В любом посольстве атташе работали в секретной зоне, зарезервированной за работниками московских спецслужб, тайном мире за звуконепроницаемыми стенами, автоматическими стальными дверями и глазками в коридорах. На третьем этаже советского посольства в Берлине, стокомнатного здания на фешенебельной Унтер дер Линден, целый ряд помещений был отведен под фотолабораторию, склад оружия, радиостанций и оборудование для подделки паспортов.
Проверяющие следили за строгим соблюдением правил конспирации. Каждый член шпионской сети имел свою кличку и номер, данные центром. Обращаться по именам было категорически запрещено. Часто используемые слова переводились на специальный жаргон, так например, паспорт назывался «сапогом», человек, занимающийся подделкой паспортов — «сапожником», пистолет — «машинкой», а вражеские контрразведчики — «ищейками».
Контакты между агентами осуществлялись по строгим правилам. Они не могли навещать друг друга дома, ссылаться на псевдонимы, адреса и организационные подробности в письмах или по телефону. Письменные сообщения немедленно уничтожались, было запрещено вести дневники. Русские настаивали на строгом соблюдении правил; когда агенты встречались на явке, они в первую очередь должны были принять меры предосторожности на случай вторжения полиции.
Члены шпионской сети вряд ли были знакомы друг с другом. Согласно Кукриджу существовало правило, по которому, резидент А знал лично Б 1, Б 2 и Б 3, работавших под его началом, но они, по крайней мере теоретически, не были знакомы. Б 1 знал В 1, В 2 и В 3, хотя, вероятно, встречался только с В 1, который мог поддерживать связь с Г 1 и так далее. Только А знал имена всех сотрудников различных групп, которые не были знакомы между собой.
Но где русская разведка набирала своих иностранных агентов?
Берзин мог рассчитывать только на один источник — местные компартии. Он даже представить себе не мог, что какой-либо зарубежный коммунист не захотел бы помочь советской разведке. Давление со стороны центра на максимальный набор сотрудников среди иностранных коммунистов со временем стало ещё сильнее.
Здесь мы видим первый признак того, что власть резидента была ограниченной. На сеть коммунистических агентов за рубежом претендовала ещё одна служба — советская секретная полиция под руководством Феликса Дзержинского. Этот выходец из дворян был близок с Лениным и являлся беспощадным соперником Берзина ещё с момента образования Советского государства, поскольку секретная полиция стремилась ограничить деятельность Разведупра только военной разведкой.
Такая конкуренция не была свойственна лишь Советскому Союзу; тайная полиция и разведка всегда враждовали между собой, были ли это СД с абвером в гитлеровской Германии или ФБР с ЦРУ в Соединенных Штатах. Но в Советской России существовала ещё одна особенность: организация Дзержинского образовалась в 1917 году под названием «Чрезвычайная комиссия по борьбе с контрреволюцией и саботажем» — или «Чека» по начальным буквам первых двух слов, и получила полный контроль за государственной безопасностью. В 1922 году её переименовали в ГПУ (сокращение от Главного Политического Управления), и она потеряла часть своей абсолютной власти. Тем не менее Дзержинский сохранил свое превосходство над другими секретными службами.
Разведупр оказался в значительной мере ущемленным со стороны ГПУ. Разведка и контрразведка в Красной Армии и пограничных военных округах были переданы не Четвертому управлению разведывательной службы, а Третьему управлению Военного наркомата, отделы состояли исключительно из офицеров ГПУ и подчинялись специальному подразделению — Особому отделу.
Создание этого подразделения ознаменовало дальнейшее снижение авторитета разведслужбы, поскольку Особый отдел отвечал за всю шифровальную службу. Шифровальный отдел располагался в доме шесть на Лубянке в Москве, но только две комнаты этого здания были отведены для группы военных шифровальщиков под началом полковника Каркевича. Хотя ему и разрешалось передавать информацию непосредственно в Генеральный Штаб Красной Армии, но находился он в подчинении главы Особого отдела Глеба Бокия.
Еще одним конкурентом шпионской организации Берзина был Иностранный отдел ГПУ, образованный в 1921 году. В начале его основной задачей было наблюдение за сбежавшими на Запад белогвардейцами, но уже вскоре появились новые амбиции в области разведки. ИНО держал за границей резидентов-организаторов с их собственными осведомителями и впоследствии был представлен в каждой дипломатической миссии, его сотрудники обычно назначались секретарями посольств. Эти чиновники вели заметки о благонадежности каждого работника посольства, включая военного атташе, они отмечал все, что по весьма растяжимым понятиям ГПУ могло подпадать под «борьбу с контрреволюцией».
Секретная полиция находилась в тесном контакте с зарубежным коммунистическим подпольем преимущественно тех стран, которые, по мнению Москвы, созрели для революции. ГПУ контрабандой доставляло в эти страны оружие, формировало террористические группы, обучало зарубежных коммунистов искусству подрывной деятельности.
Поскольку дело касалось разведки за рубежом, Берзин ухитрился ограничить деятельность своего соперника Дзержинского исключительно «оборонительными» задачами. Центральный информационный отдел Политбюро Коммунистической партии, который разрешал проблемы, возникавшие между разведкой и тайной полицией, постановил, что активная разведка полностью относится к прерогативе Разведупра. Тем не менее разведке приходилось постоянно держаться настороже ввиду дальнейших посягательств секретной полиции на её территорию, поскольку последняя теперь начала работать ещё с одним соперником за рубежом — Коминтерном.