43. См., например: [Howson, Urbach 1993]. Есть и другие интересные результаты, сужающие диапазон ситуаций, в которых два байесовских агента могут рационально не согласиться друг с другом, притом что их мнение основано на общем знании; см.: [Aumann 1976; Hanson 2006].
44. См. концепцию «верховного судии»: [Yudkowsky 2004].
45. В эпистемологии остаются нерешенными много важных вопросов, некоторые из них были нами упомянуты. Важно то, что нам, возможно, не обязательно иметь все ответы, чтобы обеспечить результат, практически неотличимый от наилучшего. Вполне может сработать смешанная модель, основанная на широком диапазоне априорных распределений.
Глава 14. Стратегический ландшафт
1. Этот принцип впервые сформулирован в моей статье «Грабеж с насилием Паскаля» [Bostrom 2009 b, p. 190], там же отмечается, что это не тавтология. Визуальным аналогом может быть коробка большого, но ограниченного объема, представляющая собой пространство базовых возможностей, которые могут быть получены при помощи некоторой технологии. Представьте, что вы насыпаете в коробку песок, символизирующий усилия исследователей. От того, как вы его распределяете, зависит, в каком месте коробки образуется горка. Но если продолжать сыпать песок, рано или поздно заполнится весь ее объем.
2. См.: [Bostrom 2002 b].
3. Это не согласуется с традиционным взглядом на научно-технологическую политику. Харви Аверч считает, что между 1945 и 1984 гг. в США она была сфокусирована на поиске оптимального уровня правительственного финансирования научных и технологических предприятий, а также на обсуждении проблемы, насколько активно правительство должно поощрять лучших, чтобы обеспечить наибольшее процветание национальной экономики и скорейший рост ее военной мощи. В этих расчетах технологический прогресс всегда благо, но Аверч отмечает рост критических замечаний в адрес этого посыла [Averch 1985]. См. также: [Graham 1997].
4. См.: [Bostrom 2002 b].
5. Конечно, здесь явно просматривается тавтология. Легко можно построить аргументацию в пользу обратного порядка разработки подобных технологий. Скажем, для человечества будет лучше вначале решить менее трудную проблему — создать нанотехнологии, — потому что в результате мы создадим лучшие институты, усилим международную координацию и станем более зрелыми в вопросах глобальной стратегии. Может быть, правильнее потренироваться на какой-то проблеме, с которой связана не столь сложная угроза, как в случае машинного интеллекта? Нанотехнологии (или синтетическая биология, или какое-то менее опасное направление, с которым мы столкнемся впервые) могли бы стать своеобразной стремянкой, встав на которую мы дотянулись бы до уровня возможностей, которых будет достаточно, чтобы справиться с более высоким уровнем угрозы со стороны сверхразума. Этот аргумент следует оценивать для каждой ситуации отдельно. Например, в случае нанотехнологий следует помнить о самых разных последствиях их появления: скачок производительности аппаратного обеспечения за счет создания наноподложек микросхем; влияние на экономических рост дешевизны физического капитала; широкое распространение совершенных технологий слежения; возможность формирования синглтона как прямого или косвенного следствия прорыва в области нанотехнологий; огромные возможности развития таких направлений, как разработка машинного интеллекта, нейроморфного ИИ и полная эмуляция головного мозга. Рассмотрение всех этих вопросов (и других, возникающих в результате появления новых технологий, с которыми связан экзистенциальный риск) выходит за рамки нашей книги. Здесь мы лишь отмечаем причину, которая на первый взгляд обосновывает желание начать с разработки сверхразума, подчеркивая, впрочем, что в некоторых случаях возможно появление аргументов, способных изменить эту предварительную оценку.
6. См.: [Pinker 2011; Wright 2001].
7. Может возникнуть соблазн выдвинуть гипотезу, что ускорять одновременно все бессмысленно, поскольку тогда (на первый взгляд) это ускорение не будет иметь видимых последствий, но см., например: [Shoemaker 1969].
8. Уровень подготовленности зависит не от количества усилий, потраченных на подготовку, а от того, насколько тщательно сконфигурированы условия и насколько хорошо готовы к нужным действиям те, кто уполномочен на принятие ключевых решений.
9. Еще одним фактором может быть уровень международного доверия в период, предшествующий взрывному развитию интеллекта. Мы рассмотрим его в разделе «Сотрудничество».
10. Забавно другое: кажется, среди тех, кто сейчас всерьез интересуется проблемой контроля, непропорционально много представителей полярно иного хвоста распределения интеллектуальных способностей, хотя у этого впечатления могут быть различные альтернативные объяснения. Но если область станет модной, в нее, несомненно, потянутся бездари и психи.
11. За этот термин я благодарен Карлу Шульману.
12. Насколько близко должен воспроизводить мозг машинный интеллект, чтобы считаться полноценной имитационной моделью, а не нейроморфным ИИ? Подходящим критерием могло бы быть воспроизведение моделью или системы ценностей, или полного набора когнитивных и оценочных особенностей какого-то конкретного или просто среднестатистического человека, поскольку, вероятно, именно это важно с точки зрения проблемы контроля. Копирование этих качеств требует от модели более высокой точности.
13. Величина этого ускорения, конечно же, зависит от того, насколько велики приложенные усилия, и от источника использованных при этом ресурсов. Ускорения развития нейробиологии не произойдет, если все дополнительные ресурсы, распределенные на исследования в области компьютерного моделирования мозга, будут сняты с направления общих нейробиологических исследований — если только фокус на моделировании не окажется более эффективным способом развития нейробиологии в целом, чем стандартный портфель исследований в этой области.
14. См.: [Drexler 1986, p. 242]. Эрик Дрекслер (в личном общении) подтвердил, что эта реконструкция соответствует ходу рассуждений, который он хотел представить в своих работах. Наверное, если кто-то захочет превратить эту схему в логически завершенную цепочку умозаключений, придется добавить множество явных допущений.
15. Возможно, нам не стоит приветствовать мелкие катастрофы по той причине, что они повышают нашу бдительность и не дают произойти средним катастрофам, которые были бы необходимы для принятия сильных мер предосторожности, способных предотвратить экзистенциальные катастрофы? (И, конечно, как и в случае биологических иммунных систем, нужно помнить о возможной гиперреакции, аналога аллергических реакций и аутоиммунных нарушений.)
16. См.: [Lenman 2000; Burch-Brown 2014].
17. См.: [Bostrom 2007].
18. Обратите внимание, что этот аргумент касается только порядка, но не времени, когда произойдут указанные события. Более раннее появление сверхразума поможет снизить другие экзистенциальные риски только в том случае, если его вмешательство изменит последовательность ключевых событий: например, если сверхразум появится раньше, чем будут пройдены определенные вехи в развитии нанотехнологий или синтетической биологии.
19. Если решить проблему контроля несоизмеримо сложнее, чем проблему эффективности машинного интеллекта, и если возможности проекта очень слабо коррелируют с размером проекта, тогда, возможно, лучше вначале реализовать мелкие проекты, особенно если различия в возможностях среди мелких проектов выше. Даже если мелкие проекты отличаются в среднем более низким уровнем компетентности, чем крупные, вероятность того, что у какого-то из них уровень компетентности окажется достаточно высоким, чтобы решить проблему контроля, будет не ниже, чем в случае крупного проекта.
20. Никто не отрицает, что можно представить появление новых инструментов, которые способны еще больше облегчить общение в глобальных масштабах — например, для высококачественного перевода, точного поиска, повсеместной работы смартфонов, создания привлекательной виртуальной среды для общения и так далее — и для которых будет желательным (или даже обязательным) прогресс в области аппаратного обеспечения.
21. Инвестиции в развитие технологии полной эмуляции головного мозга ускорят движение в сторону создания полноценной имитационной модели не только прямо (за счет появления новых технических методов), но и косвенно, за счет создания условий, которые обеспечат увеличение финансирования, а также повысят заметность этого направления и доверие к нему.
