Различия были особенно заметны, когда возможности для обучения были скудными.
Рисунок 12.3
В задаче отбора персонала дельта-индукция выбирала лучшего кандидата чаще, чем алгоритмы машинного обучения. Это преимущество сохранялось независимо от того, были ли возможности для обучения скудными, умеренными или широкими (случайные выборки размером 30, 100 и 1000 соответственно), но оно было особенно выражено, когда возможности были скудными или умеренными. По материалам Luan et al. (2019).
В отличие от исследований эвристик хиатуса и мультипликатора, о которых говорилось ранее, мы не выводили параметры эвристики дельта-инференции (т. е. порядок поиска подсказок и дельту в каждой подсказке) из опыта менеджеров. Вместо этого мы использовали подход, основанный на данных, подобно тому, как разрабатываются большинство алгоритмов машинного обучения. В свете результатов этого исследования (и многих других, о которых рассказывается в этой книге) мы советуем аналитикам данных всегда помнить о том, что простые эвристики могут работать не хуже или лучше сложных алгоритмов в условиях неопределенности, и призываем их опробовать такие модели на своих собственных данных. В последние годы сообщество специалистов по машинному обучению повторяет это мнение. 14
Выявление кредитов с высоким уровнем риска
К третьему кварталу 2022 года общая стоимость неработающих кредитов в китайских коммерческих банках составила 3 трлн юаней (примерно 426 млрд долларов). 15 Это только официальная цифра - реальная, скорее всего, выше. Как банки могут принимать более эффективные решения о выдаче кредитов? Сотрудница одного из нас (Луань) более десяти лет проработала в одном из крупнейших банков Китая, специализируясь на выдаче кредитов малым и средним компаниям. Она собрала данные о 411 компаниях, которым банк выдал кредит и о результатах выплат которых (т. е. своевременных или просроченных) было известно. Она выявила семнадцать признаков, которые обычно проверяются в заявках на получение кредита, и кодифицировала эти признаки для каждой компании. Как банки могут использовать эти признаки для отнесения заявок на кредит к категории высокого или низкого риска? 16
Сначала мы набрали девятнадцать менеджеров банков, чтобы установить базовый уровень эффективности. В среднем эти менеджеры имели более чем десятилетний опыт работы в кредитном бизнесе. Мы дали каждому менеджеру по двадцать кредитных заявок, каждая из которых содержала значения семнадцати признаков. Затем мы попросили их классифицировать заявки как "высокорискованные" (отклонить) или "низкорискованные" (одобрить). Во-вторых, мы построили быстрые и экономные деревья для этой задачи классификации, используя четыре признака, которые в наибольшей степени свидетельствовали о хороших результатах кредитования. Для четырех признаков, расположенных в одинаковом порядке, можно построить восемь быстрых и экономных деревьев (для трех признаков - четыре дерева; см. рисунок 4.3 в главе 4). Эти деревья различаются балансом между двумя возможными ошибками: ложноположительными (принятие приложения, которое впоследствии откажется работать) и ложноотрицательными (отклонение приложения, которое не откажется работать). На нижней панели рисунка 12.4 эти восемь деревьев расположены на кривой приемника-оператора. Эта кривая соединяет отдельные деревья, которые отличаются тем, как они балансируют две возможные ошибки. В целом деревья, расположенные в левой части кривой приемника-оператора, уменьшают количество ложноположительных результатов ценой увеличения количества ложноотрицательных результатов, в то время как деревья, расположенные в правой части, уменьшают количество ложноотрицательных результатов ценой увеличения количества ложноположительных результатов. Взгляд на кривую показывает, что ни самое левое дерево (то есть FFTHHH), ни четыре самых правых дерева не обеспечивают разумного баланса между двумя ошибками; таким образом, выбор банка должен быть сделан среди трех оставшихся деревьев, два из которых показаны на верхней панели рис. 12.4.
Рисунок 12.4
Банковские менеджеры могут улучшить свои решения о выдаче кредитов, используя быстрые и экономные деревья. Кроме того, прозрачные быстрые и экономные деревья работают так же хорошо, как и более сложные и непрозрачные алгоритмы машинного обучения. На верхней панели показаны два дерева, на нижней - кривая приемника-оператора для всех восьми возможных деревьев, а также производительность менеджеров банка и восьми алгоритмов машинного обучения. Каждое "быстрое и экономное" дерево состоит из четырех подсказок, расположенных в одном и том же порядке, а выход с высоким риском отмечает компании, которые с большей вероятностью могут объявить дефолт, тем самым предлагая принять решение "отклонить". Деревья названы по типам выходов в первых трех подсказках; например, FFTHHL имеет три выхода, указывающих на "высокий риск", "высокий риск" и "низкий риск" соответственно. Показатели истинных и ложных срабатываний банковских менеджеров были основаны на 380 решениях, принятых девятнадцатью менеджерами. FFT = быстрое и экономное дерево; LR = логистическая регрессия со штрафом L2; KNN = k-nearest neighbor; NB = naive Bayes; CART = дерево классификации и регрессии; RF = случайный лес; AB = адаптивный бустинг; NN = нейронная сеть; SVM = супорт-векторная машина. По данным Li et al. (2022).
Например, менеджер банка, использующий дерево, показанное на левой верхней панели, сначала спросит, содержит ли кредитная история недостатки; если да, заявка классифицируется как высокорискованная и отклоняется. Если нет, то задается второй вопрос о том, составляет ли соотношение сбережений к кредиту менее 5 процентов; если да, то заявка классифицируется как высокорискованная. Если нет, задается третий вопрос, и так далее. Обратите внимание, что первые два выхода относятся к "высокому риску", что помогает менеджерам избежать ложных срабатываний. Напротив, в дереве на панели справа вверху только первый выход является "высокорискованным", что позволяет получить больше ложных срабатываний, но при этом добиться более высокого показателя истинных срабатываний (т. е. избежать ложноотрицательных результатов).
Сплошная диагональная линия на нижней панели рисунка 12.4 представляет собой случайную характеристику. Например, если все кредиты приняты, то коэффициент ложноположительных и истинно-положительных результатов равен 1, что соответствует точке в правом верхнем углу. Если случайным образом принимается половина кредитов, то коэффициент ложноположительных и истинно-положительных результатов равен 0,5. Видно, что результаты работы менеджеров банка лишь немного превышают случайность. Они могли бы работать гораздо лучше, если бы использовали одно из быстрых и экономных деревьев, о которых говорилось в этой статье.
Могут ли сложные и непрозрачные методы машинного обучения принимать лучшие решения по кредитам, чем прозрачные быстрые и экономные деревья? Мы протестировали восемь мощных алгоритмов машинного обучения, включая SVM, случайный лес и нейронные сети. Эти алгоритмы используют все семнадцать признаков и весов и добавляют их зачастую сложными способами. На нижней панели рисунка 12.4 показано, что в среднем они не достигают лучшей производительности, чем быстрые и экономные деревья. Если судить по метрике d′, которая уравновешивает количество ложных и истинных срабатываний, то производительность алгоритмов машинного обучения и быстрых и
