Но очень скоро бывшего защитника Родины обвинили в неправильном расходовании денежных средств и в том, что он пользовался покровительством начальника облуправления связи, арестованного к тому времени как «враг народа». Как считает, не без юмора конечно, Н. Петров «Рюмин поступил толково. Он понял, как спастись. Тут же снялся с места и уехал в Москву. Здесь, после месяца поиска работы, он 13 сентября 1937-го устроился бухгалтером-ревизором» Финансового сектора Центрального управления речных путей Наркомвода СССР, а с сентября 1938-го и вплоть до начала войны работал главбухом и начальником планово-финансового отдела Управления канала Москва — Волга в Тушине. Здесь в 1939-м его приняли в кандидаты в члены ВКП(б).
После начала войны Рюмина, учитывая его «редкую специальность», в июле 1941 года направили на учебу в Высшую школу НКВД СССР.
С сентября 1941-го Рюмин — следователь, старший следователь, заместитель начальника, начальник IV отделения Особого отдела НКВД — Отдела контрразведки Народного комиссариата обороны Архангельского военного округа.
28 декабря 1941 года ему присвоено специальное звание «младший лейтенант государственной безопасности», 11 февраля 1943 г. — «старший лейтенант государственной безопасности», 18 июня 1943 года — «капитан», 3 марта 1944 года — «майор». В 1943 году Рюмина приняли из кандидатов в члены партии.
В Особом отделе НКВД, а затем в Отделе контрразведки СМЕРШ Архангельского ВО работы хватало. Кроме всего прочего, в Архангельске в годы войны разместилась британская военно-морская миссия, а также была расквартирована 126-я база ВМС и группа ВВС. Например, на октябрь 1943 года британская военно-морская миссия в Архангельске состояла из 52 человек: 18 старших и средних офицеров, 34 младших офицера и рядовых. Аппарат английской 126-й портовой базы состоял из 49 человек: 10 старших и средних офицеров, 39 младших офицеров и рядовых. При этом в составе миссии было много офицеров, непременно владеющих русским языком. Вскоре контрразведчики установили, что присланные англичанами на работу в Архангельский порт «военспецы» в большинстве своем не соответствовали своему назначению, работы по «присвоенным» им специальностям не знают, а поэтому от участия в ремонте вооружения и от консультаций по тем или иным техническим вопросам стараются уклоняться. Словом, прибыли настоящие разведчики, которые занимались военной, экономической и политической разведкой, пропагандой антисоветской идеологии, созданием сети агентурных источников из числа советских граждан. Правда, вся агентурно-оперативная работа по англичанам и американцам была сосредоточена в контрразведывательном отделе УНКВД по Архангельской области. Особым же отделам Архангельского ВО и Беломорской военной флотилии было приказано передать в областное управление все разработки и агентуру по англичанам и американцам, не связанным с разработкой военнослужащих Красной Армии, и ВМФ и только по согласованию с КРО проводить мероприятия по связям советских военнослужащих с иностранцами. И в этом был определенный смысл: по данным контрразведки на 1 сентября 1943 года из 1000 советских граждан, чьи контакты с иностранцами были зафиксированы наружным наблюдением, 90 % составляли женщины.
Все же контрразведывательная работа СМЕРШ была и строилась она против английской разведки в основном по двум направлениям: выявление британских разведчиков, их связей и пресечение их деятельности на объектах армии и флота. При этом принимался во внимание тот факт, что по роду своей служебной деятельности и в быту англичане имели широкое общение с военнослужащими и гражданским населением. Все точки соприкосновения англичан с нашими гражданами учитывались в оперативной работе военных контрразведчиков.
Всего же за годы войны контрразведчики выявили на советском Севере 100 кадровых сотрудников союзнических спецслужб, но только 6 из них были выдворены из страны.
Однако, несмотря на такое широкое поле деятельности, офицер СМЕРШ Рюмин осваивал прежде всего искусство фальсификации дел.
«В конце концов его, на свою беду, заметил главный армейский контрразведчик Абакумов, весьма нуждавшийся в профессиональных выбивателях показаний, — подчеркивает Н. Петров. — Ведь не все же самому избивать подследственных. Надо и смену растить.
В Архангельске Рюмин вел следствие по делу арестованного в декабре 1944-го фотокорреспондента газеты «Патриот Родины» И. П. Ермолина, поводом для ареста которого была лишь сводка наружного наблюдения, что он посетил английскую военно-морскую миссию. Абакумов заинтересовался делом. Как показал позднее на допросе Рюмин: «Когда я прибыл с делом Ермолина в Москву, в Главное управление контрразведки был доставлен и сам арестованный. На первом же допросе у Абакумова Ермолин заявил, что дал вымышленные показания в результате избиений. Абакумов вызвал меня, и я рассказал ему, как было сфальсифицировано дело Ермолина. Абакумову, видимо, понравилась моя откровенность, потому что, когда на его вопрос: «Сильно ли били Ермолина?» — я ответил: «Били, сколько было сил», он усмехнулся и сказал, чтобы я явился к начальнику следственного отдела Главного управления контрразведки Леонову, который объявил мне, что я остаюсь в центральном аппарате на правах прикомандированного».
Так Рюмин стал старшим следователем СМЕРШ уже непосредственно под крылом у Абакумова».
Стоит отметить и один маленький штрих к биографии этого «офицера». 31 июля 1944 года его наградят орденом «Отечественной войны» II степени — «За образцовое выполнение особых заданий Верховного главного командования Красной Армии», а 13 сентября 1945-го орденом Красной Звезды с той же самой формулировкой. Думаю, нетрудно догадаться, что стояло за этими красивыми словами…
Но вернемся к рассказу Н. Петрова: «С мая 1946-го он занял должность заместителя начальника 2-го отделения 6-го (следственного) отдела 3-го Главного управления МГБ. В 1948 году Рюмин участвовал в затеянном Абакумовым по приказу Сталина следствии по делу «Маршал» — по подготовке материалов для ареста Георгия Жукова. Он вел дело арестованного Героя Советского Союза майора П. Е. Брайко, избивая, принудил его подписать показания в отношении «одного из Маршалов Советского Союза». Также, добиваясь показаний на Жукова и Серова, прижег язык папиросой арестованному бывшему кладовщику Берлинского оперсектора НКВД A.B. Кузнецову.
В общем, «работал с огоньком», старался. 19 марта 1948-го ему присвоили звание подполковника. Улучшились жилищные условия. Причем вполне традиционным для того времени образом. Примерно в 1949-м Рюмин перебрался в более просторную квартиру № 4 в доме № 4 по Старопименовскому переулку, которую раньше занимал отправленный на понижение в Крым замначальника следчасти Родос. В сентябре 1949-го Рюмина перевели на должность старшего следователя в следственную часть МГБ, и он принял участие в допросах арестованных по «Ленинградскому делу». Избивал арестованного Соловьева (бывшего председателя Ленгорисполкома, а к моменту ареста секретаря Крымского обкома). В своих оправдательных заявлениях в военную коллегию в 1954-м Рюмин прямо указал, что, как и в ряде других случаев, команду «побить Соловьева» дал сам Сталин, следивший за ходом следствия.