Скотт Беркун - Искусство управления IT-проектами

Данные легко истолковать неправильно

Второе заблуждение, касающееся данных, состоит в том, что все они добываются сходным образом. Но оказывается, что при работе с числами неверно истолковать информацию совсем не трудно. Как писал Даррел Хаф (Darrell Huff) в своей книге «How to Lie with Statistics» (W. W. Norton, 1993): «Секретный язык статистики, столь привлекательный для склонной к фактам культуры человеческого мышления, используется для порождения сенсаций, раздувания фактов, их запутывания и упрощения». Хаф показывает множество простых способов манипуляции одними и теми же данными для получения совершенно противоположных аргументов. Его советы повсеместно должны лечь в основу подготовки всех, кто принимает решения. Большинство трюков строится на пропуске важных деталей или на подтасовке информации, которая ложится в основу нужного утверждения.

К примеру, в рекламе популярного спортивного напитка утверждается, что «его употребляют пять из шести суперзвезд». Звучит впечатляюще, но кто из суперзвезд его употребляет? Чем именно звезды отличаются от суперзвезд? Кем бы они ни были, как именно они были выбраны для опроса? Как именно они употребляют этот напиток? Может, они моют им свои машины? Платили ли им заранее? А не исключались ли они из опроса, когда прекращали употреблять напиток? Кто знает. Реклама об этом умалчивает. Если вы повнимательнее приглядитесь ко всем видам информации, от результатов медицинских исследований до деловой аналитики и тенденций развития технологий, то обнаружите, что в великолепном обрамлении припрятана или вовсе не упомянута масса всевозможных удивительных предположений и предостережений. Многие опросы или отчеты об исследованиях напрямую финансируются людьми, которые извлекают немалую выгоду из вполне конкретных результатов. Хуже того, во многих случаях соответствующие статьи в журналах и газетах пишутся людьми, не имеющими никакого отношения к исследовательским работам, из которых мы черпаем нужную информацию, а объективность и понимание этими людьми сути научных исследований зачастую оставляют желать лучшего.

Последнее, что не следует упускать, – это аргументация, выдаваемая за результаты исследований. Попытка что-нибудь понять и попытка поддержать любимую теорию – совершенно разные вещи. Довольно часто случается, что у кого-то (назовем его Скип) есть идея, но нет данных, и он выискивает те данные, которые согласуются с его теорией. Как только они обнаруживаются, он приходит к кому-нибудь, кого уже пытался убедить в своей правоте, и говорит: «Смотрите! Вот доказательства моей правоты!» Не имея каких-либо оснований сомневаться в достоверности данных, этот человек уступает его напору, и Скип получает зеленую улицу, хотя, к сожалению, его доводы практически ничем не подкреплены. Наличие единственного цикла исследований, утверждающего, что Пепси-кола лучше, чем Кока-кола, еще не означает, что где-нибудь не проведен другой цикл, утверждающий обратное. Чтобы честно использовать результаты исследований, нужно в рассматриваемом вопросе искать все «за» и «против» (это весьма простое и неполное описание того, о чем часто говорят как о научном подходе). Однако так поступают лишь истинные исследователи и ученые, а толковые специалисты по рекламе, маркетингу и все те, кто занимается продажей (включая продажу идей), обычно делают совсем не так.

Лучшей защитой от манипуляции данными и их неправильного толкования является прямое общение между людьми. Вместо чтения чьего-то отчета, лучше поговорите с автором. По возможности старайтесь избегать информации из вторых, третьих или четвертых рук. Во время разговора со специалистом часто вскрываются полезные детали и нюансы, по тем или иным причинам не попавшие в отчет или презентацию. Не полагайтесь безоглядно на электронную почту, лучше позвоните программисту или специалисту по маркетингу и выслушайте его мнение по принимаемому решению. Люди всегда ценятся выше информации. Человек, пишущий отчет, изучил тысячу разных вещей и узнал массу полезной информации, которую невозможно втиснуть целиком в этот отчет, но которой он с радостью поделится с тем, кто проявит достаточное любопытство.

Кроме использования людей в качестве источников информации, лучшим способом разобраться в этой информации и снизить связанные с нею риски считается умение задавать вопросы. Ранее, по отношению к проектированию и принятию решений, мы уже выяснили, что вопросы приводят к альтернативным вариантам и помогают каждому учесть все то, что было упущено или допущено в предоставленной информации. Вопросы ведут также к получению желаемых данных из различных источников, возможно, от людей или организаций с другим направлением работы, позволяя людям и группам людей, принимающим решения, достичь ясного видения обстановки, в которой эти решения принимаются.

Как и в последнем замечании об информации и данных, многие из нас забывают, в чем различие между точностью и достоверностью. Точность характеризует качество отдельного измерения, а достоверность показывает, насколько близко к реальности оказалось это измерение. То, что нам просто предлагают точное число (скажем, работа займет 5,273 дня), еще не означает, что оно окажется достовернее неточного числа (4 или 5 дней). Мы склонны путать точность и достоверность, поскольку допускаем, что если кто-то потратил время на вычисление столь конкретного числа, анализ лишь повысит шансы на то, что его расчеты верны. Загвоздка в том, что фиктивная точность ничего не стоит. Если я возьму с потолка данные, что прибыль в следующем году составит 5,5 миллиона долларов, и таким же способом выведу сумму затрат в том же году (2,35 миллиона долларов), я могу объединить эти догадки и выдать вполне убедительный прогноз на чистую прибыль в 3,15 миллиона долларов. Точная цифра? Конечно. Достоверная? Кто знает. Не задав вопроса: «Откуда вы это узнали?» или «Как были получены эти данные?» невозможно убедиться в том, что именно отражают эти десятичные знаки, достоверность или всего лишь точность. Заведите себе привычку безжалостно искоренять склонность других за счет точности пускать вам пыль в глаза.

Знать о правильном выборе и сделать его – вещи совершенно разные. В большинстве случаев понять, в чем правильное решение, может множество людей, но лишь немногие из них захотят встать и настоять на этом решении, поставив на карту свою репутацию. Всегда найдется больше желающих раскритиковать и осмеять ваше решение, чем тех, кто захочет взять на себя ответственность и груз самостоятельного решения. Следует постоянно помнить об этом. Принятие решения – мужественный шаг. Лучшие для проекта решения часто непопулярны, могут расстроить или разочаровать в команде некоторых авторитетных людей и легко превратить вас в мишень для упреков, если что-то пойдет не так.

Эти трудности типичны для любого человека, пробующего себя в роли лидера. Принятие решений – одна из ключевых задач лидеров и руководителей, и чем лучше руководитель, тем больше для принимаемых им решений требуется мужества (см. главу 12).

Одно из самых неприятных решений, принятых мною в качестве руководителя проекта, касалось панели компонентов Internet Explorer 4.0. Эта панель была новой частью пользовательского интерфейса. К левой границе окна браузера добавлялась вертикальная панель, помогающая пользователям перемещаться по результатам поиска, списку избранного или истории посещения веб-сайтов. За несколько недель до выпуска первой пробной версии (так называемой бета-версии) мы проводили исследования, касающиеся дизайна. Хотя о существовании проблемы нам было известно уже некоторое время, из-за возрастающего общественного давления, связанного с тем, что сейчас окрестили «войнами браузеров», мы, боясь попасть под огонь критики, стали опасаться проявления этой проблемы в выпускаемом продукте.

Проблема состояла в том, что в определенных условиях пользователь мог заставить браузер вывести в своем окне сразу три вертикальных панели, в результате для веб-страниц оставалось лишь совсем небольшое пространство. Увидев как пресса и специалисты тщательно исследуют IE 3.0, мы опасались, что пользователи бета-версии или журналисты «докопаются» до этих условий, сделают копию экрана, которая в конце концов попадет в обзор нового продукта. Подобные обзоры крайне важны, особенно для бета-версий. Надо было что-то предпринимать, и на это было указание руководства и согласие команды.

Я быстро составил список всех аргументов «за» и «против», обсудил его с моими программистами и другими руководителями проекта и обнаружил три жизнеспособных варианта. Все они не предвещали ничего хорошего. На доработку требовалось пять дней, которых у нас не было. Успеть в срок можно было, но для этого нам требовалось в ущерб качеству выпускаемого продукта урезать важную функциональность. Это решение было не сложным, требовало всего двух дней работы и позволяло устранить некоторые условия, вызывавшие проблемную ситуацию. Но это была «пустая» работа, от которой впоследствии нужно было отказаться (решение вполне подходило для бета-версии, но никак не для финальной версии). Последним из вариантов было бездействие с упованием на то, что никто не наткнется на проблему. Я отчаянно искал другие варианты, но так ничего и не нашел. Все идеи, с которыми ко мне приходили, сводились опять-таки к этим трем вариантам. Я помню, как засиделся вечером в офисе допоздна, уставившись на классную доску, проводя замкнутые линии вокруг того, что мне предстояло сделать.