которые показывают, что разработка сценариев не может быть эффективной аналитической техникой. В экспериментах сравнивались суждения по политическим вопросам до и после того, как испытуемые подготовили сценарии, пытаясь лучше разобраться в проблемах.3 Эксперименты показали, что прогнозы как экспертов, так и неэкспертов были более точными до создания сценариев; другими словами, создание сценариев фактически снизило точность их прогнозов. Несколько опытных аналитиков отдельно привели этот результат в качестве доказательства того, что разработка сценариев не может быть полезным методом анализа разведданных.4
Однако выводы Тетлока не следует обобщать и применять к анализу разведданных, поскольку в тех экспериментах сценарии проверялись как инструмент прогнозирования. Разведывательное сообщество не использует сценарии для прогнозирования. Цель разработки сценариев - описать несколько исходов или вариантов развития событий, которые должны быть рассмотрены лицом, принимающим решение, поскольку разведка не в состоянии предсказать один исход с разумной уверенностью. Еще одна важная цель разработки сценариев - определить индикаторы и вехи для каждого потенциального сценария. Затем эти показатели и вехи можно отслеживать, чтобы получить раннее предупреждение о том, в каком направлении развиваются события. В экспериментах Тетлока сценарии таким образом не использовались.
13.2 УСТАНОВЛЕНИЕ ДОСТОВЕРНОСТИ
Мы считаем, что самый простой способ оценить ценность методов структурированного анализа - это посмотреть, для какой цели используется тот или иной метод. Как только это будет установлено, следующий шаг - определить, действительно ли она достигает этой цели или существует более эффективный способ достижения той же цели. В этой книге восемь глав, посвященных техникам. Во введении к каждой главе обсуждается обоснование использования того или иного типа техник в этой главе. Как использование данного типа техники помогает аналитику лучше справляться с работой? Для каждой отдельной техники в книге описывается не только то, как использовать эту конкретную технику, но и то, когда ее использовать, а также то, какую пользу приносит ее применение. Другими словами, каждая техника структурированного анализа имеет так называемую лицевую валидность, поскольку есть основания ожидать, что она поможет смягчить или избежать проблем, которые иногда возникают при проведении разведывательного анализа.
В следующих параграфах приводятся примеры валидности нескольких структурированных техник, то есть объяснения того, как и почему эти аналитические приемы полезны. Большое количество исследований в области человеческого познания, проведенных за последние шестьдесят лет, показывает пределы рабочей памяти и говорит о том, что со сложной проблемой можно справиться наиболее эффективно, разбив ее на более мелкие части. Это, собственно, и есть словарное определение слова "анализ".5 и именно этим занимаются все техники, предполагающие составление списка, дерева, матрицы, диаграммы, карты или модели. Поэтому разумно ожидать, что аналитик, использующий такие инструменты для организации или визуализации информации, во многих случаях будет работать лучше, чем тот, кто этого не делает.
Аналогичным образом, многие эмпирические данные свидетельствуют о том, что человеческий разум склонен видеть то, что он ищет, и часто пропускать то, что он не ищет. Именно поэтому полезно разрабатывать сценарии и индикаторы возможных будущих событий, о которых разведка должна обеспечить раннее предупреждение. Эти методы могут помочь сборщикам получить необходимую информацию, а аналитикам - подготовить разум к распознаванию первых признаков значительных изменений.
"Удовлетворение" - это термин, который Герберт Саймон придумал для описания действий по выбору первой попавшейся альтернативы, которая кажется "достаточно хорошей", вместо того чтобы оценивать все возможные альтернативы и определять лучшую (см. главу 7 ). Удовлетворение - это распространенное аналитическое сокращение, которое люди используют при принятии повседневных решений, когда существует несколько возможных ответов. Это экономит много времени, когда вы принимаете суждения или решения, не имеющие большого значения, но это нежелательно, когда вы принимаете суждения или решения, имеющие большое значение для национальной безопасности. Кажется очевидным, что аналитик, который сознательно выявляет и анализирует альтернативные гипотезы, прежде чем прийти к заключению, с большей вероятностью найдет лучший ответ, чем тот, кто этого не делает.
Учитывая необходимую роль, которую играют предположения при вынесении разведывательных суждений на основе неполной и неоднозначной информации, представляется вероятным, что аналитик, использующий проверку ключевых предположений, в среднем будет работать лучше, чем аналитик, не прилагающий усилий для выявления и проверки предположений. Также существует множество эмпирических доказательств того, что рефрейминг вопроса помогает разблокировать сознание и позволяет увидеть другие перспективы.
Эмпирические исследования эффективности работы малых групп практически единодушно подчеркивают, что группы принимают лучшие решения, когда их члены привносят за стол переговоров разнообразные идеи, опыт, мнения и точки зрения.6 Глядя на результаты этих исследований, можно сделать вывод, что использование любой структурированной техники в групповом процессе, скорее всего, повысит качество анализа по сравнению с анализом, проводимым отдельным человеком, использующим эту технику, или группой, которая не использует никакой структурированной процедуры для выявления несовпадающих идей или мнений.
Опыт аналитиков разведывательного сообщества США, использующих программу Analysis of Competing Hypotheses (ACH) и аналогичные компьютерные аналитические инструменты, дает анекдотические доказательства в пользу этого вывода. Одна из целей использования ACH - добиться лучшего понимания различий во мнениях с другими аналитиками или между аналитическими подразделениями.7 Создание матрицы ACH требует пошагового обсуждения используемых доказательств и аргументов и обсуждения того, как они интерпретируются - как согласующиеся или не согласующиеся с каждой из гипотез. Этот процесс требует времени, но многие аналитики считают, что это время потрачено не зря; по их словам, освоив эту технику, они экономят время в долгосрочной перспективе.
Опыт обучения аналитиков разведки методу ACH показывает, что структурированные методы могут дать гораздо больше разносторонней информации при использовании в качестве группового процесса. Аналитики разведки и правоохранительных органов считают групповое обсуждение наиболее ценной частью процесса АКН. Использование структурированных методов не гарантирует правильного суждения, но эти анекдотические данные свидетельствуют о том, что такие методы вносят значительный вклад в улучшение анализа.
13.3 ПРОГРАММА ДЛЯ ЭМПИРИЧЕСКОЙ ПРОВЕРКИ
В разделе 13.1 , посвященном пределам эмпирического анализа, было показано, что эмпирический анализ точности структурированных методов крайне затруднителен, если вообще возможен. Теперь мы утверждаем, что даже пытаться нецелесообразно. Структурированные аналитические техники сами по себе не предсказывают будущее; они также не гарантируют отсутствие неожиданностей. Когда аналитическое суждение оказывается ошибочным, редко есть основания для того, чтобы понять, следует ли приписывать ошибку структурированной технике, аналитику, использующему эту технику, или присущей ситуации неопределенности.
Мы считаем, что наиболее реальный и эффективный подход к эмпирической оценке методов структурированного анализа - это изучение цели, для которой используется метод, а затем проверка того, действительно ли он достигает этой цели, или цель может быть достигнута каким-то лучшим способом. В этом разделе изложена программа эмпирического документирования ценности, полученной в результате применения методов структурированной аналитики. Этот подход вписывается
