до расформирования 15-й армии в 1920 году Ф. Дзержинский рекомендовал его на работу в Регистрационное управление Полевого штаба РВСР.
В течение года он возглавлял ключевой — агентурный — отдел управления, называвшийся тогда оперативным, а в декабре 1921 года стал заместителем начальника военной разведки, курируя агентурную разведку. Именно тогда на работу в центральный аппарат пришли люди, имеющие опыт подпольной партийной и разведывательной работы в период Гражданской войны; постепенно стабилизируется личный состав. Новая работа Берзину нравится, и он с энтузиазмом берется за дело. Уже в начале 20-х годов он и сам побывал нелегально за рубежом — в Германии, Чехословакии, Польше, Англии.
1 марта 1924 года, когда Зейбот получил наконец долгожданную отставку, по его рекомендации Ян Берзин становится начальником Разведотдела, преобразованного в апреле в Управление. К тому времени он уже, наверное, и сам забыл свое настоящее имя. По документам он теперь уже навсегда числился Яном Карловичем, называли его и партийной кличкой — Павел Иванович. Для более близких людей он был «Стариком» — так прозвали его за раннюю седину, появившуюся, когда он мальчишкой провел две недели в камере смертников. Что интересно — в московской телефонной книге он числился и как П.И., и как Я.К. Берзин при одном и том же адресе и телефоне.
Основное внимание и на новом посту' Ян Карлович по-прежнему уделял агентурной работе. Н. Ляхтеров, сотрудник Разведупра с 1933 года, вспоминал: «Берзин обладал аналитическим умом, он был изобретательным в разработке самых сложных разведывательных операций. Основой стратегической разведки Берзин считал агентурную разведку. На создание нелегальных радиофицированных резидентур в странах вероятного противника он направлял весь свой организаторский талант и опыт подпольной партийной работы. Павел Иванович принимал непосредственное участие при подборе и подготовке нелегальных резидентов (Зорге, Маневич, Мрочковский, Стигга, Узданский, Кравченко, Треппер, Абрамов и др.)… Все мы, в те годы работники Разведывательного управления, ощущали заботливое отношение Берзина к легальным зарубежным разведаппаратам. Он лично участвовал в подборе достойных руководителей на должности военных советников и военных атташе (Путна, Якир, Геккер, Рыбалко, Орлов, Тупиков и др.) и крышевых оперативных работников».
Опираясь на опыт, в том числе и на личный, В. Сухоруков, которого Ян Карлович провожал в Китай в сентябре 1924, в Латвию в декабре 1933, в Болгарию в декабре 1934 года, отмечал: «Берзин, отправляя сотрудника управления за рубеж, всячески подчеркивал полное ему доверие, уверенность в его способности выполнить поставленное задание, в способности всегда находиться в более выгодном положении, чем противник. Он давал понять разведчику, что в случае неудачи он его поддержит и не даст в обиду. Все это формировало у оперативных работников чувство ответственности и готовности даже ценой сверхусилий выполнить поставленную задачу во имя интересов Родины. Павел Иванович никогда никого не отправлял за рубеж без теплого и сердечного напутствия, а с наиболее близкими соратниками прощался путем товарищеского объятия. Так же тепло и сердечно он встречал своих дозорных часовых, возвратившихся из стана противника».
Важнейшим направлением агентурной деятельности в этот период становится военно-техническая разведка, о чем говорят первые же шаги Берзина в новой должности. В докладе, посвященном первому году работы военной разведки, он отмечал: «1924–1925 гг. характеризуются широким развертыванием работы Разведупра», когда основное внимание уделяется военной технике, которая «вместе с воздушным и морским флотом составила 66,5 % всех заданий, данных агентуре».
Общие для всех стран задания по сухопутным вооруженным силам, поставленные агентурной разведке в следующем операционном году, были такими: «1) Обучение, подготовка и быт армии, политико-просветительская работа, организация и тактика низших соединений различных родов войск. 2) Военно-химическое дело: устройство и методы применения новейших средств химического нападения, состояние военнохимического дела. 3) В области артиллерии, мелкокалиберного оружия, бронесил, инженерного дела, электротехники и связи — продолжать работу по выяснению новых конструкций и пополнять имеющиеся сведения о материальной части, состоящей на вооружении иностранных армий. 4) Следить за новейшими изобретениями во всех областях военной техники и за усовершенствованиями существующей материальной части. 5) Состояние военной промышленности и подготовка к промышленной мобилизации важнейших иностранных государств». И поставленные задачи были выполнены. Ян Карлович докладывал, что «в общей сумме» полученные в 1925–1926 годах материалы и сведения «уже дали возможность изучить большинство вопросов, интересующих высшие военные управления СССР».
Задания в военно-технической области были возложены и на созданные в конце 1920-х годов инженерные отделы торговых представительств СССР за границей, в составе которых работали также и военные разведчики. Наряду с закупками всего необходимого для РККА (от новейшей военной техники до предметов культурно-бытового назначения), им предписывалось «собирать, проверять, систематизировать и изучать все материалы о новых научно-технических усовершенствованиях и достижениях, как применяемых, так и могущих быть примененными для военных целей и обороны страны».
Осознание высшим военным руководством необходимости этого вида разведки было подтверждено в 1930 году выделением IV Управлению Штаба РККА дополнительных кредитов на ее ведение. Кроме того, заинтересованные учреждения должны были выдавать деньги военной разведке на приобретение конкретных технических материалов и образцов.
Естественно, многое делалось руководством Управления для обслуживания агентурной деятельности. Как вспоминал впоследствии М. Груздев, тогда еще молодой сотрудник Разведупра, «П.И. Берзин проявлял постоянную заботу по обеспечению технических служб оборудованием, аппаратурой, приборами и материалами, в том числе за счет импортных закупок, о подборе и подготовке специалистов-профессионалов. Так, по настоянию Берзина было получено приоритетное право отбора на предприятиях и в институтах Москвы лучших специалистов нужного нам профиля. И нужно сказать, что техническая часть Лозовского, благодаря помощи Берзина, неплохо обеспечивала всем необходимым работу оперативных подразделений Разведуправления».
При непосредственном участии Яна Карловича, как писал в конце 1950-х годов начальник 4-го управления ГРУ Н. Ляхтеров, «создавались легализационные резидентуры, которые помогали нелегальным разведчикам обустраиваться в странах назначения. Через эти резидентуры разведчики обеспечивались необходимыми документами, материальными средствами, оперативной техникой». Системой таких пунктов, которая называлась Мобилизационная сеть коммерческих предприятий Разведупра за рубежом, долгие годы руководил С. Мрочковский. Н. Звонарева, будучи секретарем начальника Управления, не раз встречалась с ним. «П.И. Берзина, как я уже говорила, окружали талантливые помощники и сотрудники. К каждому из них он относился по-отцовски внимательно и строго. Особенно бережно он относился к С.И. Мрочковскому — выдающемуся разведчику-нелегалу. Когда поступало сообщение об его приезде в Москву (примерно раз в год), Берзин вызывал меня и предупреждал: “Проследи, чтобы лишние люди не встречались с ним. В комнату, где он будет работать, пропускать только сотрудников, с которыми он связан по службе…” Стефан Иосифович приезжал рано утром, неизменно говорил мне: “Наташа, милая, здравствуйте”, — и проходил в комнату секретариата, в которой стояло два сейфа
