В клубе ВЧК, где проходили заседания конференции, с утра и до позднего вечера не утихали споры. Не было ни одного вопроса, по которому не возникало бы резких разногласий с левыми эсерами. Их было меньшинство, но они использовали любой повод для нападок на большевиков. Особенно бурная дискуссия развернулась о принципах организации ЧК. Ксенофонтов и другие большевики говорили, что ВЧК должна быть строго централизованным учреждением, объединяющим ЧК всей страны. Вместе с тем они считали нужным сохранить подчинение ЧК местной власти, которая должна координировать работу всех органов, боровшихся с контрреволюцией на территории губернии. Левые эсеры категорически выступали против централизации чрезвычайных комиссий, поскольку она якобы противоречит демократии, «самодеятельности масс». Они заявляли, что ЧК должны подчиняться только местным Советам. Однако конференция отвергла полуанархистские предложения левых эсеров и утвердила принцип двойного подчинения чрезвычайных комиссий.
И.К. Ксенофонтов активно участвовал и в обсуждении проблемы создания контрольных коллегий при ЧК. В состав контрольно-ревизионного органа, считал он, следует включать члена коллегии ЧК и двух представителей партийного комитета. Цель такого органа — следить за тем, как сотрудники выполняют постановления чрезвычайной комиссии, не нарушают ли они прав граждан. Саму же комиссию могут контролировать другие учреждения, имеющие на то право, — исполкомы Советов, партийные комитеты.
Делегаты поддержали предложение Ксенофонтова. Оно вошло в принятое конференцией Положение о чрезвычайных комиссиях на местах.
Вскоре при всех губернских и уездных ЧК стали создаваться контрольно-ревизионные коллегии с участием представителей губернских и уездных комитетов партии. Они проверяли постановку следствия в чрезвычайных комиссиях, накладывали вето на те приговоры ЧК, которые были недостаточно обоснованы, принимали жалобы от населения. Эти коллегии являлись одним из эффективных средств партийного контроля за работой сотрудников ЧК.
Летом 1918 года классовая борьба в Советской России достигла небывалой остроты. С востока и запада, с севера и юга наступали интервенты, белогвардейские войска и армии возникших на окраинах эсеро-меныпевистских правительств. Республика оказалась в огненном кольце фронтов. В глубоком подполье действовали заговорщические контрреволюционные организации — «Национальный центр», «Союз возрождения России», филиалы савинковского «Союза защиты родины и свободы». В ряде городов им удалось поднять мятежи. По всей республике полыхало пламя кулацких восстаний. Начался белый террор.
6 июля 1918 года левые эсеры убили немецкого посла Мирбаха. Они рассчитывали таким путем сорвать Брестский мир, спровоцировать войну с Германией. Убийцы — сотрудник ВЧК Блюмкин, незадолго до того отстраненный Ф.Э. Дзержинским от должности, и фотограф Андреев — проникли в помещение посольства по мандату, на котором были поддельные подписи Дзержинского и Ксенофонтова и подлинная печать ВЧК. Ее поставил Александрович. Совершив террористический акт, Блюмкин и Андреев скрылись в особняке в Трехсвятительском переулке, где находился основной боевой отряд ВЧК, которым командовал левый эсер Попов. Там же разместился штаб мятежников.
Ф.Э. Дзержинский, как только получил сведения об убийстве Мирбаха, немедленно поехал в германское посольство. Ему рассказали о случившемся, передали брошенный террористами портфель и забытое ими подложное удостоверение. После этого Феликс Эдмундович направился в отряд ВЧК в Трехсвятительском переулке, где, как он предполагал, могли укрыться Блюмкин и Андреев. Дзержинский хотел выяснить, является ли убийство посла личным делом преступников или же заговором партии левых эсеров. Мятежники арестовали Феликса Эдмундовича.
Совнарком, узнав об аресте Дзержинского, поручил члену коллегии М.И. Лацису временно осуществлять руководство комиссией. Однако вечером левые эсеры захватили здание, где размещалась ВЧК, арестовали Лациса и увезли его в свой штаб. Вскоре мятежники овладели московским телеграфом, разослали повсюду телеграммы с сообщением о восстании против большевиков.
После ареста Лациса Совнарком поставил во главе ВЧК на время задержания Дзержинского Я.X. Петерса. Яков Христофорович первым делом решил очистить здание ВЧК от левых эсеров. Но как это сделать, чтобы избежать ненужных жертв? Решил прибегнуть к хитрости. Он снял телефонную трубку и позвонил дежурившему секретарю ВЧК. Им оказался большевик Левитан. Петерс приказал ему передать командиру левоэсеровского отряда, захватившего ВЧК, «телефонограмму» штаба мятежников с предписанием немедленно выехать в Сокольники для «разоружения контрреволюционеров». Хитрость удалась. Большая часть левых эсеров покинула Лубянку, 11.
Один из отрядов ВЧК во главе с А. Поляковым без труда разоружил оставшихся в помещении мятежников.
Ночь с 6 на 7 июля Ксенофонтов провел в ВЧК. Вместе с Петерсом он произвел аресты сотрудников Чрезвычайной комиссии из числа левых эсеров, опечатал их бумаги, привел в боевую готовность верные правительству отряды ВЧК.
7 июля части Красной Армии и отряды ВЧК разгромили мятежников. Позорная авантюра левых эсеров провалилась. Дзержинский, Лацис и другие советские работники, арестованные мятежниками, были освобождены. Главари мятежа разбежались. Александровича и еще нескольких левых эсеров, организаторов восстания, задержали на Курском вокзале и по постановлению ВЧК расстреляли. Дзержинский подал заявление об освобождении его с поста председателя ВЧК, так как он должен был выступать свидетелем по делу об убийстве Мирбаха. Совнарком удовлетворил его просьбу и поручил Петерсу сформировать коллегию ВЧК из одних большевиков. В новый состав коллегии одному из первых было предложено войти И.К. Ксенофонтову.
В конце августа председателем ВЧК снова стал Ф.Э. Дзержинский, а Я.X. Петерса назначили его заместителем. Ввиду частых отъездов Феликса Эдмундовича по заданиям ЦК РКП (б) Петерс до начала 1919 года осуществлял фактическое руководство Чрезвычайной комиссией. И.К. Ксенофонтов продолжал выполнять работу секретаря ВЧК. На всех приказах ВЧК его подпись была обязательной. Вместе с Я.X. Петерсом и заведующим Иногородним отделом В.В. Фоминым Иван Ксенофонтович направлял директивы местным чрезвычайным комиссиям о необходимости бдительно следить за действиями белогвардейцев, эсеров, меньшевиков, левых эсеров, анархистов, подавлять попытки контрреволюционных мятежей.
30 августа эсерами был убит председатель Петроградской ЧК М.С. Урицкий. В тот же день эсерка Каплан совершила злодейское покушение на жизнь В.И. Ленина, тяжело ранила его. В ответ на это Совнарком принял постановление о красном терроре как временной чрезвычайной мере защиты революции. Его проведение возлагалось на ВЧК.
Выполняя постановление Совнаркома, ВЧК и местные чрезвычайные комиссии арестовали многих участников контрреволюционных организаций, восстаний, мятежей, а также деятелей царского режима, виновных в кровавых репрессиях против народа.
Беспощадно подавляя сопротивление врагов, ВЧК осуществляла строгий контроль за тем, чтобы чекисты не нарушали законных прав и интересов граждан. Осенью 1918 года в губернские и уездные чрезвычайные комиссии были разосланы приказы и инструкции, подписанные Я.X. Петерсом и И.К. Ксенофонтовым, которые требовали «при малейшем злоупотреблении привлекать виновных к строгой ответственности».
В конце 1918 года в связи с победами Красной Армии на Восточном фронте, аннулированием Брестского мира и поворотом среднего крестьянства в сторону Советской власти упрочилось политическое положение в республике. Казалось, что самый трудный момент гражданской войны позади. Некоторые партийные и советские работники стали ставить вопрос о необходимости распустить ВЧК и местные чрезвычайные комиссии или по крайней мере лишить их права на применение крайних мер к противникам пролетарского государства. В печати, на заседаниях Советов, на партийных собраниях развернулась жаркая дискуссия о ЧК. Партийные комитеты, воспользовавшись улучшением обстановки в стране, начали отзывать коммунистов из чрезвычайных комиссий, переводить их на советскую работу или направлять в освобожденные от неприятеля районы.
И.К. Ксенофонтов вместе с Ф.Э. Дзержинским и Я.X. Петерсом выступал за сохранение чрезвычайных комиссий как органов борьбы с контрреволюцией. Он полагал, что пока гражданская война продолжается, Советской власти без ЧК не обойтись.
4 февраля 1919 года ЦК РКП (б) принял решение о том, что право вынесения приговоров должно быть передано из ЧК в ревтрибуналы. Вместе с тем ЦК указал, что чрезвычайные комиссии должны остаться как органы розыска и как органы непосредственной борьбы с вооруженными бандитскими и контрреволюционными выступлениями. За ними также сохранялось право на внесудебную репрессию, но лишь в местностях, объявленных на военном положении. Решение ЦК было положено в основу постановления ВЦИК от 17 февраля о реорганизации ЧК и ревтрибуналов.