У Карпова сложились деловые, а в чем-то даже и доверительные отношения с патриархом Сергием. Первая их официальная встреча состоялась 29 октября 1943 года, а последняя — 5 мая 1944-го. Во время встреч патриарх и председатель могли спокойно обсуждать все самые сложные проблемы жизни Русской церкви в СССР и за ее пределами. Об этом можно судить по сохранившимся записям бесед, сделанных Карповым, и это, конечно, облегчало для обоих поиск выхода из самых сложных и запутанных ситуаций. Безусловно, Карпов в своих поступках не был свободен ни от власти предержащей, ни от собственных заблуждений и ошибок во взглядах на роль и место церкви в обществе, на формы и методы, дозволенные государству при регулировании деятельности религиозных организаций. Но все же он стремился проводить политику благоприятствования деятельности церкви. Карпов не чурался и личных отношений с патриархом. В этом его поддерживал Молотов, подсказавший, в частности, идею отмечать дни рождения и юбилейные даты патриарха и других церковных деятелей.
24 января 1944 года патриарху исполнилось 77 лет. Он отклонил предложения о торжествах по этому случаю в Елоховском соборе и принял у себя дома лишь ближайших своих сотрудников. Литургия служилась в домовой церкви патриарха. Ему сослужили протоиерей Николай Колчицкий и келейник архимандрит Иоанн (Разумов). Помолиться собрались все служащие Московской патриархии, бывшие в Москве иерархи, а также московские благочинные. Несмотря на всю простоту и скромность обстановки, у собравшихся было торжественное и молитвенное настроение. Они горячо, проникновенно молились и просили Господа продлить годы жизни старца-патриарха.
Неспешно шла беседа за скромной трапезой. Вдруг в прихожей послышались голоса, шум и в зал вошел неожиданный гость — председатель совета Карпов. От имени правительства и от себя лично он пришел поздравить патриарха с днем рождения и преподнес просто царские по тому времени — почти на 30 тысяч рублей — подарки: разнообразные материалы и ткань для пошива одежды и облачения патриарха. Сергий был тронут. Улыбались и оживленно обсуждали происшедшее гости. Карпов при всех подарил патриарху часы с золотой цепочкой, пожелал ему здоровья. Как нельзя кстати пришлись принесенные для юбиляра коньяк, шампанское, икра, фрукты.
Именно Г. Г. Карпов, высоко оценивая патриотическую деятельность Русской церкви, предложил представлять к государственным наградам иерархов, духовенство, активистов-верующих. Первое большое награждение состоялось еще осенью 1943 года, когда отмечена была деятельность ленинградского духовенства в дни блокады города. Спустя год, в 1944 году, медалями «За оборону Москвы» награждены были представители московского и тульского духовенства.
В воскресенье 14 мая 1944 года в московском Ризоположенском храме, что расположен неподалеку от Донского монастыря, было особое столпотворение верующих — шла патриаршая служба. Как всегда, она оставляла впечатление большой церковности, духовности и одновременно простоты. Все собравшиеся испытывали чувства благости, душевности, соборности. Было много сослужащих патриарху, пел замечательный хор. И все это рождало ощущение большого семейного торжества, от которого исходят теплота и вера. И естественным продолжением службы стало возведение во епископа Можайского второго викария Московской епархии, архимандрита Макария (Даева). Патриарх Сергий бодро провел всю торжественную службу и при вручении новопоставленному епископу посоха сказал воодушевленное слово.
Вернулся Сергий к себе в Чистый переулок радостным и бодрым. Прямо с порога заявил своим ближним, что не нуждается и не имеет желания или надобности в отдыхе, а пригласил бывших у него в доме священников и иерархов в сад. Они гуляли по саду, где уже зазеленели деревья и кусты. Выбрав в тени скамеечку, Святейший пригласил спутников посидеть с ним. Преосвященный Иларий, усаживаясь поудобнее, повредил спинку скамейки, и она едва не отвалилась. Это развеселило Сергия, и его безобидная ирония сопровождала «катастрофу». Сидя на скамейке, Святейший заявил, что за всю весну он не чувствовал себя так хорошо, как сегодня: ни усталости, ни слабости. Потом Сергий радушно угощал домочадцев обедом, а вечером вернулся в сад вместе с протоиреем Н. Колчицким, чтобы побеседовать с ним о делах.
…В половине восьмого утра 15 мая 1944 года в квартире Карпова в Доме на набережной раздался звонок. Привыкший к утренним неожиданным известиям Карпов поднял трубку и услышал трагическую весть. Сообщали о внезапной кончине патриарха Сергия.
Через полчаса Карпов прибыл в Чистый переулок. В доме толпились близкие и родные патриарха. У одра почившего собрались члены Священного синода. Митрополит Крутицкий Николай совершил первую панихиду. Возгласы и общее пение были тихими, скорбными, то и дело прерывавшиеся слезами и вздохами присутствующих, которые нельзя было удержать и которых никто не стеснялся.
Карпов прошел в рабочий кабинет. Здесь были иерархи, духовенство. Вызвали келейника патриарха архимандрита Иоанна, который рассказал о последних часах жизни Сергия Страгородского. «Патриарх проснулся рано утром, — говорил он, — и поскольку до назначенного времени визита домашнего врача оставалось еще немало времени, Сергий решил прилечь. Когда я вернулся спустя час и вошел в спальню, меня поразила необычайная бледность лица патриарха. Я подбежал, окликнул, но он не отвечал… Прибывший врач констатировал кровоизлияние в мозг».
В комнату тихо вошел митрополит Алексий (Симанский), подал знак, прося пройти за ним. Карпов прошел в личные покои патриарха. Находившиеся здесь митрополиты Алексий и Николай вместе с управляющим делами Московской патриархии протоиереем Н. Ф. Колчицким осмотрели письменный стол. В одном из ящиков был обнаружен пакет, скрепленный сургучной печатью Сергия и с нанесенной датой — 12 октября 1941 года. То было завещание патриарха, составленное еще накануне эвакуации в Ульяновск. Первый пункт его гласил: «В случае моей смерти или невозможности исполнять должность патриаршего местоблюстителя, эта должность во всем объеме присвоенных ей патриарших прав и обязанностей переходит к Преосвященному митрополиту Ленинградскому Алексию Симанскому». На экстренном совещании Синода было постановлено исполнить волю патриарха.
По церковному уставу патриарх был переодет иподиаконами в полное архиерейское облачение и митру. Тело усопшего было перенесено в соседний с домовой церковью зал. Гроб патриарха был покрыт патриаршей мантией, осенен рипидами, окружен принадлежностями патриаршего служения: куколем, посохом, трикирием и дикирием. Начатое митрополитом Ленинградским Алексием чтение Евангелия беспрерывно совершалось московским духовенством по особому расписанию весь день и всю ночь.
Карпов вернулся в совет, в переулок Островского, где уже сотрудники озабоченно сновали по кабинетам, выполняя поручения председателя о необходимых мерах по подготовке к похоронам патриарха. Пройдя в свой кабинет, Карпов буквально в несколько минут написал срочное секретное письмо Сталину с докладом о смерти патриарха Сергия, его завещании и информацией о местоблюстителе. Здесь же высказывалась мысль о возможности захоронения почившего патриарха в Богоявленском соборе.
Во вторник 16 мая, в два часа дня, гроб с почившим патриархом был торжественно перевезен в кафедральный собор в сопровождении архиереев. В соборе уже собралась многочисленная толпа верующих, желавших проститься со своим патриархом. Гроб был установлен посреди собора. Наполовину он был закрыт зеленой патриаршей мантией, на нее был положен венок из живых белых роз. В ногах на особом возвышении поставлены икона и белоснежный патриарший куколь. Тут же — предносный патриарший крест и посох, а вокруг гроба — множество живых цветов. В левом Никольском приделе собора была приготовлена могила для патриарха.
Два дня, 16 и 17 мая, Москва прощалась с патриархом. К Богоявленскому собору стекались тысячи и тысячи верующих, делегации епархий и приходов.
…Забрезжил рассвет третьего дня. Длинной вереницей потянулся народ в кафедральный собор. Богомольцы заполнили огромный зал. На правой солее расположились представители дипломатического корпуса и военных миссий. Здесь же в качестве представителя советского правительства встал Г. Г. Карпов. В час дня началось отпевание. Все участвующее духовенство выстроилось в два ряда, тянувшихся от середины храма вокруг гроба и в алтарь. А вокруг престола образовался еще третий ряд. Надгробное слово произнес патриарший местоблюститель митрополит Ленинградский Алексий:
— Не только отца лишились мы с кончиной святейшего патриарха, мы лишились в нем доброго пастыря и мудрого кормчего корабля церковного. Церковь православная скорбит об его утрате. Он весь принадлежит Церкви Божией… На короткое время судил ему Господь восприять высокое звание патриарха Московского и всея Руси, главы Церкви Российской, как бы для того только, чтобы дать ему полноту славы церковной в воздаяние его великих заслуг церковных, и для того, чтобы увенчать его церковные заслуги.