498
Взято у Эндрю Снайдера-Битти.
499
“Дилемма Колингриджа” – особый случай компромисса между использованием преимуществ этого рычага и защиты от нашей близорукости, поскольку она связана с регулированием новых технологий. Колингридж отмечает, что чем дальше мы от внедрения некоторой технологии, тем больше у нас возможностей для контроля за траекторией ее развития, но тем меньше нам известно о ее влиянии (Collingridge, 1982).
500
Он говорит об этом в своей диссертации, посвященной экзистенциальному риску и лонгтермизму (Beck-stead, 2013), одном из лучших текстов об экзистенциальном риске.
501
Мировые правительства расходуют на образование 4,8 % ВВП (World Bank, 2019b) – около 4 трлн долларов в год. Целевые расходы на работу по снижению экзистенциального риска составляют порядка 100 млн долларов. См. примечание 56 к главе 2, где подробнее объясняется, как оцениваются расходы на работу с экзистенциальным риском.
502
Это касается средств, направляемых именно на снижение экзистенциального риска, а не всей совокупности средств, направляемых в сферы, связанные с экзистенциальным риском (например, на работу с изменением климата и повышение биологической безопасности). Кроме того, я представляю себе мир, который выглядит так же, как наш сегодняшний. Если же экзистенциальный риск создаст явную чрезвычайную ситуацию (например, к нам будет приближаться огромный астероид), непосредственная работа с ним потребует гораздо больше средств.
503
Asimov (1979), p. 362; перевод А. Девеля и Л. Девель. Я начал эту цитату с заглавной буквы. [Extract from A Choice of Catastrophes: The Disasters That Threaten Our World by Isaac Asimov. Copyright © 1979 by Isaac Asimov. Reprinted with the permission of Simon & Schuster, Inc. All rights reserved.]
504
Можно охарактеризовать их и так:
1. Не потерпеть провал сразу и сделать провал невозможным.
2. Понять, как преуспеть.
3. Преуспеть.
505
Защита нашего потенциала (а следовательно, и экзистенциальная безопасность в целом) предполагает, что людям необходимо закрепить за собой обязательство не допустить экзистенциальной катастрофы. Здесь возникает любопытное противоречие с утверждением, что блокировку сценариев нужно сводить к минимуму (с. 189). Дело в том, что бороться с общей блокировкой (вызываемой экзистенциальным риском) лучше всего помогает закрепление небольшого количества отдельных ограничений.
И все же следует быть крайне осторожными, когда мы закрепляем хоть какую нибудь идею, поскольку мы рискуем отрезать путь к тому, что могло оказаться лучшим из вариантов. Можно сделать обязательство не допускать экзистенциального риска не категорическим (например, удерживать общий риск на определенном уровне во все грядущие века), а более мягким, чтобы от него было сложно, но возможно отказаться. Хороший пример – конституции: как правило, в них можно вносить изменения уже после принятия, но процедура очень сложна.
506
Обеспечивать это можно множеством способов: не допускать новых пожаров, повышать пожарную безопасность зданий, содержать хорошо оснащенную пожарную часть. Есть и аналогичные способы оберегать наш потенциал.
507
Здесь поможет числовой пример. Для начала допустим, что мы сумели снизить вековой экзистенциальный риск до 1 % и удерживаем его на этом уровне. Это прекрасный первый шаг, но его необходимо дополнить обязательством снижать риск и дальше. При вековом риске в 1 % у нас в среднем будет только 100 веков, прежде чем случится экзистенциальная катастрофа. Может показаться, что это долгий срок, но это лишь 5 % от продолжительности нашего существования к настоящему моменту и лишь крошечная доля того, чего мы должны бы достигнуть.
Напротив, если бы мы нашли способ непрерывно снижать риск в каждом веке, экзистенциальная катастрофа не была бы предопределена. Например, если бы с каждым следующим столетием мы снижали вероятность вымирания на одну десятую (1 %, 0,9 %, 0,81 %…), вероятность того, что мы не столкнемся с экзистенциальной катастрофой никогда, сколько бы веков ни прошло, превысила бы 90 %. Ведь вероятность того, что мы выживем во все периоды, такова:
(100 % – 1 %) × (100 % – 0,9 %) × (100 % – 0,81 %) × … ≈ 90,4598 %.
Это значит, что с вероятностью более 90 % мы проживем до того момента, пока не дойдем до какого нибудь непреодолимого внешнего рубежа: например, когда умрут последние звезды, когда все вещество преобразуется в энергию или когда мы достигнем всего, чего можно достичь, имея доступные нам ресурсы.
Непрерывное снижение риска может оказаться проще, чем мы думаем. Если бы риски каждого века были никак не связаны с рисками следующего века, со временем нам приходилось бы прилагать все больше усилий, чтобы их снижать. Но многие действия, которые мы можем совершить сегодня, снижают риски на долгие времена. Это, например, изучение экзистенциального риска и лучших стратегий для работы с ним, воспитание благоразумия и терпения в нашей цивилизации, а также создание институтов для исследования экзистенциального риска и управления им. Поскольку эти действия влияют и на риски в последующие периоды, они могут способствовать снижению векового риска, даже если количество усилий со временем остается неизменным. Кроме того, число новых антропогенных рисков может быть ограничено, и тогда в последующие столетия не будет появляться новых рисков, которыми придется управлять. Например, если мы доберемся до технологического потолка, у нас не будет возникать новых технологических рисков.
508
При расстановке приоритетов важно соблюдать баланс между обеспечением надежной долгосрочной защиты и тушением пожаров, чтобы дать себе шанс дожить до того момента, когда надежная защита пойдет нам на пользу. И баланс этот зависит от того, как, на наш взгляд, риск распределяется во времени. Возможны даже такие ситуации, когда лучше всего совершать действия, сопряженные с мгновенным риском, если это нивелируется тем, насколько они снижают долгосрочный риск. Примерами могут служить разработка продвинутого искусственного интеллекта и централизация контроля над глобальной безопасностью.
509
Это название предложил Уильям Макаскилл, который также изучает необходимость этого процесса и возможный механизм его работы.
Ник Бустрём (Bostrom, 2013, p. 24) выразил подобную идею: “Наши текущие представления об аксиологии могут быть ошибочными. Мы можем не знать – по крайней мере, не знать в деталях, – какие исходы будут считаться большой победой человечества. Возможно, мы пока не можем даже представить лучшие исходы для самих себя. Если мы действительно сильно сомневаемся в своих итоговых целях, нам стоит понять, что огромной ценностью обладает альтернативный вариант: сохранение – а также в идеале улучшение – нашей способности распознавать ценности и направлять свое будущее развитие соответствующим образом. Наделить будущую версию человечества огромными силами и умением пользоваться ими с умом – это, вероятно, лучший из доступных нам способов повысить вероятность того, что будущее заключит в себе огромную ценность. Для этого мы должны предотвратить любую экзистенциальную катастрофу”.
Неясно, насколько длительным должен быть этот период размышлений. Я полагаю, что разумно будет потратить на раздумья несколько веков (и даже больше), прежде чем вносить серьезные необратимые изменения в наше будущее, выбрав тот или иной его вариант. С нашей точки зрения может показаться, что это очень долго, но жизнь и прогресс в большинстве сфер не остановятся. Вспомним о таком периоде, как эпоха Возрождения, когда интеллектуальные проекты во многих сферах растягивались на целые века. Если речь идет о чрезвычайно долгосрочных проектах (на реализацию которых уйдут миллионы лет), я полагаю, что мы вполне можем взять даже большее время на раздумья, чтобы наверняка прийти к верному решению.
