компаниях, занимающих передовые позиции в области машинного обучения, как Amazon [145].
Имейте в виду: какими бы ни были ваши намерения, алгоритмическая предвзятость встречается повсеместно. Прогнозы моделей не являются истиной в последней инстанции. Все результаты – это продукты предположений. И вы должны действовать так, будто все данные наблюдений предвзяты, потому что так оно и есть. Делая прогнозы, модели подтверждают и усиливают предвзятость и стереотипы, уже присутствующие в данных. Не стоит дожидаться изменения образа мышления, чтобы начать разбираться в предубеждениях, присущих вашей собственной работе. К этому следует приступить уже сегодня [146].
В этом разделе содержится далеко не полный список предубеждений, парадоксов и странностей, встречающихся в данных. Мы рекомендуем вам обращать внимание на ловушки, не принадлежащие ни одной из категорий. Если вы будете искать лишь конкретные типы предвзятостей или логических ошибок, то можете упустить другие менее заметные предубеждения, которые общество еще не определило. То, что эти ловушки не определены, не значит, что их нет.
Теперь, когда вы познакомились с некоторыми распространенными предубеждениями и когнитивными ловушками, присущими работе с данными, давайте поговорим о более конкретных подводных камнях, которых следует избегать при реализации подобных проектов. Мы разделили этот большой список на две категории: ловушки статистики и машинного обучения и ловушки проекта.
Ловушки статистики и машинного обучения
Этот раздел содержит список ловушек статистики и машинного обучения, многие из которых мы обсуждали ранее.
Принятие корреляции за причинно-следственную связь. Не поддавайтесь искушению построить причинно-следственный нарратив вокруг коррелированных переменных. Рост уровня продаж компании может коррелировать с увеличением количества просмотров ее рекламы на YouTube, но это не значит, что одно вызвало другое. Как правило, следует избегать разговоров о причинно-следственных связях, если только вы не разработали процесс сбора и анализа данных специально для их поиска (то есть если вы не используете экспериментальные данные). Эти идеи обсуждались в главах 4 и 5.
p-хакинг. Представьте, что в некой статье говорится: «Люди, которые пьют слишком много кофе, имеют повышенный риск развития рака желудка. Результат статистически значим на уровне значимости 0,05» [147]. Как говорилось в главе 7, при уровне значимости 0,05 результаты бывают ложноположительными в 1 случае из 20. p-хакинг – это процесс тестирования нескольких закономерностей в данных вплоть до обнаружения статистически значимого p-значения. Связь между употреблением кофе и раком желудка была бы менее пугающей, если бы впоследствии вы узнали, что исследователи также изучили взаимосвязь между употреблением кофе и раком мозга, раком мочевого пузыря, раком молочной железы, раком легких или любым другим из 100 видов рака. По чистому совпадению в пяти случаях было бы обнаружено статистически значимое p-значение, даже если бы никакой связи не существовало. Учтите, что p-хакинг – это разновидность ошибки выжившего, поскольку при этом сообщаются только значимые p-значения.
Нерепрезентативная выборка. Результаты опросов во время выборов, которые не представляют голосующее население, будут неверными. Опрос посетителей страницы вашей компании в социальной сети может не отражать мнение большинства ваших клиентов. Не бойтесь спорить с данными (глава 4), поскольку формирование политики или принятие решений на основе выборки данных, не представляющей совокупность, на которую они будут влиять, может привести к серьезным ошибкам. Хуже того, такие данные могут создавать чувство ложного спокойствия, заставляя вас думать, будто вы принимаете обоснованное решение, тогда как отсутствие данных наверняка было бы предпочтительнее использования тех некачественных данных, с которыми вы работаете.
Утечка данных. Не обучайте модель на данных, недоступных во время прогнозирования. Вам может показаться, что у вашей команды превосходная модель, но она на самом деле может быть совершенно бесполезной. Предсказать, купит ли посетитель вашего сайта продукт, довольно легко, если вы знаете, что при покупке он применил код купона. Главные по данным должны убедиться в наличии каждого признака в модели в момент принятия решения (см. главы 9 и 10).
Переобучение. Как вы помните, модели – это упрощенные версии реальности. Они используют то, что мы знаем, чтобы помочь нам предсказать то, чего мы не знаем. Когда модель хорошо работает на данных, с которыми она уже сталкивалась, но не способна предсказать новые наблюдения, можно сказать, что модель «переобучена». В некотором смысле модель «запоминает» сценарии, определенные обучающими данными, вместо того, чтобы «учиться» на этих обучающих данных и делать прогнозы относительно того, что ей неизвестно (см. главы 9 и 10). Главные по данным могут предотвратить переобучение, разделив данные на обучающие и тестовые наборы. Обучите модель на обучающем наборе и оцените эффективность ее предсказаний на тестовом наборе.
Нерепрезентативные обучающие данные. Эта ловушка предполагает использование «нерепрезентативной выборки» для создания модели машинного обучения. Модели знают только те данные, на которых они были обучены. Модель, обученная на данных о недвижимости в Огайо для предсказания цены продажи домов в Огайо, не способна предсказать цену аренды квартиры в Нью-Йорке. Точно так же интеллектуальный динамик с голосовым помощником, обученный на образцах звука, записанных в студии звукозаписи, может испытывать сложности с разбором команд в шумном доме. Чтобы избежать этой ловушки, главные по данным должны тщательно продумать обстоятельства использования их модели и собрать отражающие их обучающие данные.
В этом разделе мы поговорим о ловушках, в которые можно угодить при реализации проекта по работе с данными.
Отказ от постановки острых вопросов (или решение неправильной задачи). Даже небольшая двусмысленность может привести к путанице и рассогласованию между группой специалистов по работе с данными, бизнес-группой и заинтересованными сторонами проекта. Убедитесь в том, что все четко понимают решаемую бизнес-задачу (глава 1).
Вопрос не адаптируется после провала. Прояснить бизнес-задачу важно – как и быстро признать то, что ее нельзя решить. Многие команды специалистов по работе с данными быстро обнаруживают недостатки исходного вопроса, но продолжают двигаться вперед, подчиняясь внешнему давлению. Чтобы избежать возникновения несоответствий, вопрос необходимо скорректировать.
Данными владеют, а не управляют (то есть данные трудно получить). В некоторых организациях определенные группы (например, ИТ-отдел, финансовый отдел или бухгалтерия) владеют данными, которые требуются вам для работы. Хотя многие из этих организаций практикуют управление данными на бумаге, получить к ним доступ бывает непросто. Ваша компания должна понимать, что при ограничении доступа к данным вы можете сделать не так много.
Данные не
