в котором будет указано, что аналитики изменили свою оценку ситуации.
Методы повышения сложности и достоверности списка показателей включают следующие:
Установление шкалы для оценки каждого показателя
Предоставление конкретных определений каждого показателя
Оценка показателей на плановой основе (например, ежемесячно, ежеквартально или ежегодно)
Присвоение уровня доверия к каждой оценке
Предоставление описательной части для каждого пункта шкалы оценки с описанием того, что можно было бы ожидать наблюдать на данном уровне
Перечисление источников информации, использованных при составлении рейтинга
Рисунок 6.2c - это пример графика сложных индикаторов, в котором использованы первые три техники, перечисленные выше.
Потенциальные ловушки
Качество показателей имеет решающее значение, поскольку плохие показатели приводят к аналитическим неудачам. По этим причинам аналитики должны периодически проверять обоснованность и актуальность списка показателей. Узкоспециальные или устаревшие показатели могут усилить аналитическую предвзятость, побудить аналитиков отбросить новые данные и неадекватно убаюкать потребителей информации. Кроме того, со временем показатели могут оказаться недействительными или плохо указывать на то, что они должны были показать. Регулярно проверяя достоверность индикаторов, аналитики могут также обнаружить, что их первоначальные предположения были ошибочными. Наконец, если противник узнает, какие индикаторы есть в вашем списке, он может внести оперативные изменения, чтобы скрыть то, что вы ищете, или сделать так, чтобы вы увидели противоположные индикаторы.
Взаимосвязь с другими техниками
Индикаторы тесно связаны с рядом других методик. Обычно используется та или иная форма "мозгового штурма", чтобы задействовать опыт в создании индикаторов нескольких аналитиков с разными точками зрения и разных специальностей. Разработка альтернативных сценариев всегда должна включать в себя разработку и мониторинг индикаторов, указывающих на то, какой сценарий развивается. Что если? Анализ "Что, если?" и анализ высокого воздействия/низкой вероятности зависят от разработки и использования индикаторов. Показатели часто вводятся в Te@mACH® как элементы релевантной информации, о чем говорится в главе 7 , посвященной формированию и проверке гипотез.
Программа Indicators Validator™, которая рассматривается на сайте в следующем разделе , - это инструмент, используемый для проверки диагностичности индикаторов.
Истоки этой техники
Выявление и мониторинг индикаторов военного нападения - одна из старейших форм разведывательного анализа. Обсуждение здесь основано на Рэндольфе Х. Ферсоне, "Индикаторы", в Handbook of Analytic Tools and Techniques (Reston, VA: Pherson Associates, LLC, 2008); и Pherson, The Indicators Handbook (Reston, VA: Pherson Associates, LLC, 2008). Книга Синтии М. Грабо "Предвосхищая неожиданности: Анализ для стратегического предупреждения (Lanham, MD: University Press of America, 2004) является классическим текстом по разработке и использованию индикаторов.
ВАЛИДАТОР ИНДИКАТОРОВ™
Indicators Validator™ - это процесс оценки диагностической способности индикатора. Он был разработан специально для того, чтобы помочь аналитикам проверить свои индикаторы наиболее эффективным способом.
Когда использовать
Indicators Validator™ - это важный инструмент, который необходимо использовать при разработке индикаторов для конкурирующих гипотез или альтернативных сценариев. (См. Рисунок 6.3a .) После того как аналитик разработал набор альтернативных сценариев или конкурирующих гипотез, следующим шагом будет создание индикаторов для каждого сценария (или гипотезы), которые появятся, если этот конкретный мир или гипотеза начнут появляться или окажутся точными. Важнейший вопрос, который нечасто задают, заключается в том, появится ли данный индикатор только в том сценарии, которому он соответствует, или также в одном или нескольких альтернативных сценариях или гипотезах. Показатели, которые могут появиться в нескольких сценариях или гипотезах, не считаются диагностическими, что говорит о том, что они могут быть не особенно полезны для определения истинности конкретного сценария или конкретной гипотезы. Идеальный показатель - это высокая вероятность или соответствие для сценария или гипотезы, которым он соответствует, и высокая вероятность или несоответствие для всех остальных альтернатив.
Рисунок 6.3a Модель индикаторов Validator™
Источник: 2008 Pherson Associates, LLC.
Добавленная стоимость
Использование Indicators Validator™ для выявления и исключения недиагностических показателей может значительно повысить достоверность анализа. Применяя этот инструмент, аналитики могут упорядочить свои показатели от наиболее до наименее диагностичных и решить, как далеко вверх по списку они хотят провести черту при выборе показателей, которые будут использоваться в анализе. В некоторых случаях аналитики могут обнаружить, что большинство или все показатели для данного сценария были исключены, поскольку они соответствуют и другим сценариям, что заставит их провести мозговой штурм нового и лучшего набора показателей. Если аналитикам трудно составить независимые списки диагностических показателей для двух сценариев, это может означать, что сценарии недостаточно различны, что говорит о необходимости их объединения.
Валидация показателей может помочь преодолеть менталитет, показав аналитикам, как набор показателей, указывающих на один сценарий, может указывать и на другие. Она также может показать, что некоторые показатели, которые изначально считались полезными или диагностическими, могут таковыми не являться. Помещая показатель в более широкий контекст с учетом нескольких сценариев, эта методика помогает аналитикам сосредоточиться на том, какой из показателей действительно полезен и диагностичен, а не просто поддерживает определенный сценарий. Валидация индикаторов также помогает избежать преждевременного закрытия, поскольку требует от аналитика отслеживать, действительно ли появляются индикаторы, ранее разработанные для конкретного сценария.
Метод
Первый шаг - заполнение матрицы, аналогичной той, что используется для анализа конкурирующих гипотез. Это можно сделать вручную или с помощью программы Indicators Validator™ (см. Рисунок 6.3b ). Матрица должна:
Перечислите альтернативы в верхней части матрицы (как это делается для гипотез в "Анализе конкурирующих гипотез")
Перечислите показатели, которые уже были получены для всех сценариев, в левой части матрицы (как это делается с соответствующей информацией в Анализе конкурирующих гипотез)
В каждой ячейке матрицы оцените, является ли показатель для данного конкретного сценария
- Высокая вероятность появления
- Скорее всего, появится
- Может появиться
- Вряд ли появится
- Маловероятно, что появится
Показатели, разработанные для конкретного сценария, домашнего сценария, должны быть либо высоковероятными, либо вероятными. Если программное обеспечение
