объявлений. Большинство хозяев, отклонявших запросы от арендаторов с «черными» именами, никогда не принимали чернокожих гостей, что позволяет предположить, что некоторые хозяева особенно склонны к расовой дискриминации. (В ответ на это исследование и растущую критику со стороны пользователей и регулирующих органов, Airbnb создала рабочую группу для выработки способов снижения уровня дискриминации, которая в сентябре 2016 года предложила ряд изменений. Мы рассмотрим аспекты заявленных мер ниже.)
Исследователи в настоящее время фиксируют наличие расовой дискриминации во многих сферах онлайн-бизнеса, от рынка труда до выдачи кредитов и предоставления жилья. Это обусловлено двумя особенностями: во-первых, наличием в профилях маркеров расы – не только таких очевидных, как фото, но и более тонких; а во-вторых, разборчивостью участников рынка при выборе потенциальных партнеров по транзакциям. В следующем разделе мы поговорим о том, что оба эти фактора зависят от выбора разработчиков платформы.
Не столь очевидно влияние на дискриминацию еще одной характеристики онлайн-коммерции – использования алгоритмов и больших массивов данных. Результаты поиска в Google, рекомендации книг на Amazon и фильмов на Netflix – все это примеры программной замены несовершенных человеческих суждений о том, что нужно потребителю. Возникает искушение предположить, что исключение человеческих оценок должно вести и к уничтожению человеческих предубеждений. Однако это не так.
Алгоритмы порождают дискриминацию не так, как люди. Профессор вычислительной математики Латанья Свини провела потрясающее исследование, целью которого было разобраться в роли расы в рекламных объявлениях Google. Она задавала в поиске типичные афроамериканские имена типа Дешон или – ну да – Латанья, и отмечала объявления, которые появлялись на странице вместе с результатами поиска. Затем она задавала имена, более типичные для белых, например Джеффри. Оказалось, что при поиске «черных» имен на странице чаще появлялись объявления с предложениями баз данных по арестам.
Конечно, никто не настраивает Google так, чтобы он показывал подобные объявления людям, ищущим афроамериканские имена. Это происходит потому, что алгоритм «решает» на основании прошлых запросов, что некто, ищущий имя «Дешон», с большей вероятностью, чем некто, ищущий «Джеффри», заинтересуется рекламой с данными об арестах (и, следовательно, обеспечит Google больше прибыли). Таким образом, этот выбор сделан, хоть и непреднамеренно, разработчиками Google.
Путь к более умному рыночному дизайну
Платформы – даже в одной и той же отрасли – часто различаются особенностями своего дизайна, что может приводить к разным уровням склонности к дискриминации. Возьмем, к примеру, решение о том, размещать ли фотографии пользователей и когда именно. Uber не показывает водителям фото потенциальных пассажиров, а его конкурент Lyft – показывает. Благодаря этому в Uber дискриминация пассажиров со стороны водителей менее вероятна. Аналогично, главная страница с результатами поиска жилья на HomeAway показывает только изображения недвижимости, но не ее владельцев, которые можно увидеть (и то не всегда) только при выборе конкретных объявлений, а Airbnb требует от владельцев прикладывать свои фото к объявлениям на главной странице.
Компании также по-разному подходят к расследованиям случаев возможной дискриминации и выработке мер по ее устранению. Например, eBay работала с командой социальных психологов, которые изучали, не получают ли продавцы-мужчины больше денег за одинаковые товары, чем продавцы-женщины (оказалось, что так и есть). Однако чаще компании не занимаются подобными вопросами. Хотя многие топ-менеджеры признают, что дискриминация существует, и вроде бы хотят справиться с ней, пока мы видим не так уж много искренних попыток сделать что-то реальное, как в eBay. Поэтому исследователи, желающие изучать онлайн-дискриминацию, должны проводить собственные эксперименты или собирать по определению неполные данные с сайтов. (И нам известны случаи, когда юристы компаний пытались преследовать таких исследователей и мешать их работе.)
Даже компании с самыми благими намерениями могут выбирать не самые лучшие подходы к борьбе с дискриминацией, потому что, насколько нам известно, не существует системы для взвешенного рассмотрения доступных вариантов дизайна с этой точки зрения и их возможных последствий. Наша цель в этой статье – предложить компаниям схему, с помощью которой они смогут построить процветающую площадку и управлять ею, одновременно минимизируя склонность к дискриминации.
Мы не рассчитываем на то, что все создатели рынков будут принимать одинаковые решения. Конкуренты по-разному подходят к решению других вопросов (например, Lyft позволяет оставлять чаевые через приложение, а Uber – нет), и они точно так же будут по-разному решать проблему дискриминации (например, среди прочего, они могут по-разному стимулировать меры, направленные на борьбу с ней. (Хотя мы убеждены, что платформы должны стремиться к высшим стандартам в этом отношении.) Наша цель – помочь создателям лучше разобраться в возможных последствиях и компромиссах их решений.
Ниже мы предлагаем два основных принципа для платформ, стремящихся решить эту задачу. Затем мы оценим четыре варианта решений, которые способны повлиять на дискриминацию.
Принцип 1. Не игнорируйте возможность дискриминации
Платформы должны начинать с более тщательного отслеживания. В настоящее время большинству неизвестен расовый и гендерный состав участников их сделок. Регулярные отчеты (и время от времени аудит) о расовой и половой принадлежности пользователей, а также оценка успешности каждой из групп на платформе – необходимый (хотя и недостаточный) шаг к раскрытию и искоренению любых проблем. Это проливает свет на сферы, где дискриминация действительно является проблемой, и дает возможность следить за прогрессом. В деле борьбы с дискриминацией это может стать отличным первым жестом доброй воли. Например, Airbnb может регулярно отчитываться о проценте положительных ответов на запросы по группам пользователей в зависимости от расы и пола. Открытый доступ к такой информации поможет привлечь внимание пользователей и регулирующих органов к проблеме и заставить компании всерьез взяться за ее решение. (Открытый доступ к данным по дискриминации – один из аспектов объявленной Airbnb политики, который пока не реализован в полной мере, однако стоит отметить, что в целом грандиозные и похвальные цели компании уже трансформировались в конкретные результаты.)
Принцип 2. Сохраняйте экспериментальное мышление
Платформы должны заниматься тем, что у них получается лучше всего, – экспериментировать. Такие компании, как Facebook, Yelp и eBay прочно встроили экспериментальное мышление в практики развития своих новых продуктов и функций. Для тестирования дизайнерских решений, которые, наряду с другими способами вмешательства, могут повлиять на степень дискриминации, компании должны проводить рандомизированные контролируемые испытания. Стоит поаплодировать Airbnb за ее недавний эксперимент со скрытием фото владельцев недвижимости на главной странице с результатами поиска, чтобы изучить влияние этого фактора на результаты бронирования (хотя компания пока и не представила эти данные открыто).
Решение 1. Не предоставляете ли вы слишком много информации?
Во многих случаях самое простое и эффективное изменение, которое может внести платформа в свой дизайн – отказаться открывать информацию, которая способна сделать более уязвимыми те или иные категории пользователей (например, сведения о половой и
