в реальность того, как на самом деле проводится анализ в разведывательном сообществе США. Затем мы покажем, как этот подход может быть применен к анализу трех конкретных методик.
Шаг 1 - договориться о наиболее распространенных причинах аналитических ошибок и о том, какие структурированные техники наиболее полезны для их предотвращения.
Шаг 2 - определить, что мы знаем или думаем, что знаем о пользе использования конкретной структурированной техники. Это - достоверность, описанная ранее в этой главе, плюс то, чему, по мнению аналитиков, они научились в результате частого использования техники. Например, мы думаем, что знаем, что ACH дает множество преимуществ, которые помогают создать более качественный разведывательный продукт. Это происходит благодаря:
Приводит к гораздо более широкому поиску информации, чем тот, который аналитики вели бы в противном случае. Фокус на отклонении гипотез заставляет аналитика шире взглянуть на то, какую информацию он ищет и считает наиболее ценной.
Требование к аналитикам начинать с разработки полного набора альтернативных гипотез. Этот процесс снижает риск так называемого "сатисфичинга" - принятия первого пришедшего в голову ответа, который, как кажется, удовлетворяет потребность. Он гарантирует, что все разумные альтернативы будут рассмотрены до того, как аналитик закрепится в предпочтительном заключении.
Побуждение аналитиков к попыткам опровергнуть гипотезы, а не поддержать одну гипотезу. Это помогает аналитикам преодолеть тенденцию искать или интерпретировать новую информацию таким образом, чтобы она подтверждала их предубеждения, и игнорировать информацию и интерпретации, противоречащие прежним убеждениям.
Разбиение аналитической проблемы на составные части, показывая доказательства и гипотезы и их взаимосвязь. Это также позволяет аналитикам сортировать данные по типу, дате и диагностичности доказательств.
Обеспечение возможности сортировки и сравнения доказательств по аналитически полезным категориям, таким как доказательства из открытых источников против доказательств из тайных источников и из человеческих источников против технических источников, недавние доказательства против старых доказательств, и выводы, основанные на твердых доказательствах (отчеты разведки) против мягких доказательств (собственные предположения и логические выводы аналитика).
Подталкивает аналитиков к тому, чтобы представлять выводы в более организованном и прозрачном виде, чем это было бы возможно в других случаях.
Создание основы для определения ключевых предположений и показателей, которые можно отслеживать на постоянной основе, чтобы определить, в каком направлении развиваются события.
Оставляйте четкий аудиторский след о том, как проводился анализ и как отдельные аналитики могли отличаться в своих предположениях или суждениях.
Зафиксируйте общий уровень уверенности аналитиков в качестве данных и укажите, какая дополнительная информация необходима или какие требования к сбору данных должны быть разработаны.
Шаг 3 заключается в получении доказательств для проверки того, действительно ли методика обеспечивает ожидаемые преимущества. Получение доказательств в пользу или против этих преимуществ не ограничивается результатами эмпирических экспериментов. Оно включает в себя структурированные интервью с аналитиками, менеджерами и клиентами; наблюдения за встречами аналитиков, когда они используют эти техники; опросы, а также эксперименты.
Шаг 4 заключается в получении доказательств того, действительно ли эти преимущества приводят к повышению качества анализа. Качество анализа не ограничивается точностью. К другим показателям качества относятся ясность изложения, прозрачность того, как были сделаны выводы, и создание аудиторского следа для последующей проверки - все это преимущества, которые могут быть получены, например, при использовании ACH. Подтверждением более высокого качества может служить независимая оценка стандартов качества или опрос клиентов, получающих отчеты. Еще одним критерием, представляющим интерес, является экономическая эффективность, включающая затраты как времени аналитиков, так и денег. Как уже говорилось в этой книге, мы утверждаем, что использование структурированной техники часто экономит время аналитиков в долгосрочной перспективе. Это утверждение также должно быть подвергнуто эмпирическому анализу трех конкретных методик (см. Рисунок 13.3 ).
Рисунок 13.3 Три подхода к оценке
Источник: 2009 Pherson Associates, LLC.
ПРОВЕРКА ОСНОВНЫХ ДОПУЩЕНИЙ
Проверка ключевых допущений, описанная в главе 8 , является одной из наиболее важных и часто используемых техник. Ее цель - сделать явными, а затем оценить предположения, которые лежат в основе любого конкретного аналитического суждения или аналитического подхода. Вопросы для оценки: (1) Насколько успешно техника достигает этой цели? и (2) Как это повышает качество и, возможно, точность анализа? Ниже приведен список исследований, которые могут ответить на эти вопросы:
Опросите аналитиков, чтобы выяснить, как часто они используют ту или иную технику, каковы их критерии, когда ее следует применять, каковы процедуры ее использования, в чем они видят преимущества, полученные от ее применения, и какое влияние она оказала на их отчет.
Сравните качество случайной выборки отчетов, написанных без проверки ключевых предположений, с отчетами, написанными после такой проверки.
Опросите клиентов, чтобы выяснить, хотят ли они видеть в аналитических отчетах информацию о ключевых предположениях. Как часто они видят такую информацию?
Проверьте, может ли один аналитик эффективно определить свои собственные предположения, или это всегда следует делать в небольшой группе? Ответ кажется очевидным, но может быть полезно задокументировать величину разницы с помощью сравнения "до и после". Аналитиков обычно просят разработать свой собственный набор допущений до того, как они придут на встречу для проверки ключевых допущений. Сравните эти первоначальные списки со списком, составленным по итогам встречи.
Наблюдайте за несколькими группами, когда они проводят проверку ключевых предположений. После этого опросите всех аналитиков, чтобы определить, как они воспринимают свой опыт обучения во время встречи. Повлияло ли это на их размышления о наиболее вероятной гипотезе? Сделает ли их опыт более вероятным или менее вероятным использование этой техники в будущем? Проведите эксперимент, чтобы изучить влияние различных процедур применения этой техники.
МАТРИЦА ПЕРЕКРЕСТНОГО ВОЗДЕЙСТВИЯ
Матрица перекрестного воздействия, описанная в главе 5 , - это старая техника, которую Ричардс Хойер опробовал много лет назад, но, насколько нам обоим известно, сейчас она не используется в разведывательном сообществе США. Хойер рекомендует сделать ее частью стандартной тренировки на ранних этапах проекта, когда аналитик еще находится в режиме обучения, пытаясь разобраться в сложной ситуации. Это следующий логический шаг
