483
Экономические факторы риска могут возникнуть под действием изменения абсолютного уровня благосостояния (бедность), направления изменения текущего состояния (спад) и скорости изменений (стагнация).
484
Даже если бы они оказывали только непосредственное влияние, мы все равно могли бы причислить их к факторам риска (поскольку в строгом определении, которое я использую, говорится лишь, что они повышают риск, но не указывается, что повышение происходит опосредованно).
485
Искусственный интеллект также можно считать фактором риска. Такой эффект, как безработица, вызванная внедрением ИИ, не станет экзистенциальным риском, однако может угрожать серьезными политическими потрясениями и поэтому может быть причислен к факторам риска. Даже неконтролируемый ОИИ можно считать фактором риска, а не экзистенциальным риском, поскольку это не самостоятельный механизм уничтожения нашего потенциала, а новый источник волеизъявления, у которого может появиться мотив захватить контроль над нашим будущим любыми доступными средствами. Если система искусственного интеллекта действительно приведет нас к гибели, она убьет нас не одной лишь силой своего разума, а при помощи пандемий искусственного происхождения или других экзистенциальных угроз.
486
Возможно, не будет ни минимально, ни максимально достижимого значения (либо потому что область определения бесконечна, либо потому что интервал открыт). Ради простоты изложения я не стал учитывать эту возможность в основном тексте, но никаких особенных трудностей она не представляет. Поскольку вероятность экзистенциального риска имеет верхний и нижний пределы, мы можем заменить выражение Pr (X|f = fmax) супремумом (самой низкой вероятностью, которая выше Pr (X|f = f’) для всех возможных f’) и заменить Pr(X|f = fmin) соответствующим инфимумом.
487
Можно также учесть диапазон F. Это разница между Pr (X|f = fmin) и Pr (X|f = fmax). Она соответствует сумме вклада и потенциала F и не зависит от текущего значения.
488
Можно также учесть эластичность экзистенциального риска относительно f в окрестности fsq. Это пропорциональное изменение Pr (X) относительно небольшого пропорционального изменения f. Это безразмерная величина, показывающая чувствительность к фактору риска и позволяющая сравнивать факторы риска между собой.
489
В связи с этим также встает вопрос о переменных, которые и повышают, и снижают экзистенциальный риск в разных зонах своих областей определения (то есть там, где экзистенциальный риск не монотонен по этой переменной). Если влияние, оказываемое на экзистенциальный риск, монотонно в области возможных значений f, я предлагаю считать его фактором риска или фактором безопасности. Однако, если оно не монотонно даже в этом диапазоне, нам следует признать его более комплексным фактором.
Например, если измерять изменение климата в количестве градусов, на которые температура повысилась с доиндустриальных времен, вполне возможно, что возврат температуры к доиндустриальным уровням (и дальше) в итоге окажется непродуктивным для снижения экзистенциального риска. Однако, поскольку такая чрезмерная реакция сопряжена лишь с малой практической опасностью, имеет смысл считать потепление фактором риска.
490
Можно оценивать факторы безопасности по аналогии с факторами риска. Можно учитывать текущий вклад фактора в обеспечение нашей безопасности (в повышение вероятности того, что не произойдет экзистенциальной катастрофы) и его потенциал в дальнейшем снижении экзистенциального риска при максимальном усилении действия фактора. Наконец, можно учитывать влияние незначительных усовершенствований фактора безопасности на общий экзистенциальный риск.
491
Можно заподозрить, что снизить риск на один процент, если его изначальный уровень составляет 20 %, легче, чем если изначально он равен 5 %. Раньше я полагал, что эвристический принцип таков: уменьшить вероятность риска наполовину одинаково просто вне зависимости от отправной точки. Но ситуация может быть иной, если риск чрезвычайно высок, например 99,9 %. В таком случае катастрофа кажется неизбежной (иначе риск был бы ниже). Следовательно, лучше пользоваться таким эвристическим принципом: одинаково просто снизить в два раза соотношение шансов риска. Это значит, что риски средней вероятности (скажем, от 30 до 70 %) особенно просто снижать на один процентный пункт.
Однако нужно иметь в виду, что не все такие риски равны. В некоторых случаях средняя вероятность, которую мы присваиваем таким рискам, как ИИ, на самом деле отражает наше неопределенное положение между мирами: тем, где снизить вероятность риска очень сложно, и тем, где сделать это очень легко. Поэтому даже при среднем итоговом показателе изменить вероятность такого риска, работая над ним, может быть непросто. (Приведу пример: истинная вероятность одного риска может составлять 50 %, а другой риск может быть либо крайне маловероятным (0,1 %), либо крайне вероятным (99,9 %), но его истинная вероятность нам неизвестна. Последний риск будет менее податлив, чем мы могли бы подумать, опираясь на его субъективный уровень (50 %).)
492
MacAskill (2015), pp. 180–185.
493
Иногда решающим становится именно пренебрежение риском в краткосрочной перспективе: сколько ресурсов расходуется на работу с ним прямо сейчас. Но чаще основную роль играет долгосрочное пренебрежение: сколько всего ресурсов будет потрачено на работу с риском, пока не станет слишком поздно. Резкое перераспределение ресурсов (например, когда исследования в соответствующей области набирают обороты) может радикально изменить ситуацию.
494
Чтобы определить эти понятия, нужно иметь в виду, что затратная эффективность – это скорость изменения ценности относительно расходуемых ресурсов: d ценности / d ресурсов. Оуэн Коттон-Баррат показал, что затем мы можем разбить это на три фактора (Wiblin, 2017):
495
Взято у Оуэна Коттон-Баррата.
496
В случае с некоторыми рисками проходит много времени между последним моментом, когда можно было принять действенные меры, и моментом катастрофы. При расстановке приоритетов на основе того, какой из рисков наступает первым, мы датируем их по последнему моменту, когда можно было принять меры.
Если со временем наша работа постепенно становится менее эффективной, необходима более сложная оценка. Так происходит с изменением климата: хотя катастрофический ущерб от него будет ощущаться еще долгое время, ограничение выбросов и разработка альтернативных источников энергии приносят тем большую пользу, чем раньше мы к ним приступаем.
497
Диаметр околоземных объектов распределен по степенному закону с экспонентой –3,35 (Chapman, 2004). Масштаб эпидемий кори в изолированных обществах распределен по степенному закону с экспонентой –1,2 (Rhodes & Anderson, 1996). Число жертв многих других стихийных бедствий – цунами, извержений вулканов, наводнений, ураганов, торнадо – также распределено по степенному закону. Обычно соответствие исчезает по достижении некоторого крупного размера, где истинные вероятности чрезвычайно масштабных событий, как правило, оказываются ниже, чем прогнозируемые по степенному закону (например, число жертв при вспышках кори ограничивается размером популяции). Тем не менее такой предупредительный анализ все равно оказывается действенным в той мере, в какой степенной закон дает нам верхний предел истинной вероятности.
