21. См.: [Yudkowsky 2001].
22. «Аве Мария» — термин из американского футбола. Так называется очень длинный пас вперед, сделанный в отчаянной ситуации — обычно когда время на исходе, — в надежде, что кто-то из игроков поймает мяч у зачетного поля противника и выполнит тачдаун.
23. Подход «Аве Мария» основан на идее, что сверхразум может формулировать свои предпочтения точнее, чем мы, люди, излагаем свои. Например, ИИ может сделать это при помощи кода. Поэтому если наш ИИ представляет другие сверхразумные системы в виде вычислительных процессов, воспринимающих окружающую их среду, то он сможет предположить, как эти системы могли бы реагировать на разные гипотетические стимулы, например «окна», выскакивающие в их поле зрения, с исходным кодом нашего ИИ и предложением сформулировать свои инструкции для нас в каком-то заранее выбранном и удобном для понимания формате. После этого наш ИИ мог бы изучить эти воображаемые инструкции (фактически из своей собственной модели, работающей по принципу «от обратного», в которой и существуют эти «другие» системы сверхразума) и выполнить их, поскольку изначально был мотивирован нами на это.
24. Альтернативный вариант — создать детектор, который в рамках модели мира нашего ИИ ищет представления физических структур, созданных сверхразумными цивилизациями. Затем мы могли бы исключить шаг определения функций предпочтения этих гипотетических сверхразумных систем и наделить наш ИИ конечными ценностями, предполагающими попытку скопировать те физические структуры, которые, как ему кажется, скорее всего создали бы эти гипотетические системы.
Однако и для этого варианта характерны технические трудности. Например, поскольку наш ИИ, даже достигнув уровня сверхразума, скорее всего, не будет знать с достаточной точностью, какие именно физические структуры создают другие сверхразумные системы, он может попытаться аппроксимировать их. Для этого ему потребуется метрика, с помощью которой он мог бы оценивать сходство двух физических артефактов. Но метрики, основанные исключительно на физических показателях, могут быть неадекватными; например, вывод, что мозг больше похож на камамбер, чем на компьютер, работающий в режиме имитационной модели, был бы в корне неправильным.
Более правильным мог бы быть подход, основанный на поиске «радиомаячков» — сообщений относительно функций полезности, закодированных в каком-то подходящем простом формате. Тогда наш ИИ мог бы искать признаки этих гипотетических сообщений о функциях полезности во Вселенной, а нам оставалось бы надеяться, что дружественные инопланетные системы ИИ создали множество таких «радиомаячков», предвидя (благодаря своему сверхразуму), что более примитивные цивилизации (вроде нашей, человеческой) построят ИИ, чтобы их искать.
25. Если все цивилизации попытаются решить проблему загрузки ценностей при помощи подхода «Аве Мария», дорога окажется тупиковой. Кому-то придется выбрать более трудный путь.
26. См.: [Christiano 2012].
27. Искусственному интеллекту, который мы создаем, может быть, вообще не потребуется искать эту модель. Как и мы, он мог бы просто размышлять над тем, какие следствия могли бы быть у столь сложного косвенно заданного определения (возможно, изучая свою среду и следуя тому же ходу рассуждений, которым воспользовались бы и мы).
28. См. главу 9 и главу 11.
29. Например, экстази способен временно повышать эмпатию, а окситоцин — доверие; см.: [Vollenweider et al. 1998; Bartz et al. 2011]. Однако этот эффект меняется в широком диапазоне и сильно зависит от контекста.
30. Улучшенных субагентов можно было бы убивать, ставить на паузу, сбрасывать до более раннего состояния или лишать полномочий и не подвергать дальнейшему улучшению до тех пор, пока вся система не станет настолько зрелой и безопасной, что эти субагенты перестанут представлять для нее угрозу.
31. Ответ на этот вопрос может не быть очевидным и по отношению к человеческому обществу, оснащенному великолепным арсеналом новейших средств слежения, биомедицинских методов психологического манипулирования; кроме того, достаточно богатому, чтобы позволить себе огромный штат сотрудников спецслужб, следящих за обычными гражданами (и друг за другом).
32. См.: [Armstrong 2007; Shulman 2010 b].
33. Остается открытым вопрос, до какой степени контролер уровня n должен контролировать не только агентов уровня (n – 1), но и агентов уровня (n – 2), чтобы убедиться, так ли хорошо агенты уровня (n – 1) выполняют свою работу. Чтобы узнать, насколько правильно агенты уровня (n – 1) управляют агентами уровня (n – 1), агенту уровня n придется брать под контроль и агентов уровня (n – 3)?
34. Этот метод занимает промежуточное место между методами выбора мотивации и контроля над возможностями. С технической точки зрения та часть системы, которая состоит из людей, контролирующих набор агентов-программ первого уровня, управляет методами контроля над возможностями, а та, что состоит из множества уровней контролирующих друг друга агентов-программ, управляет методами выбора мотивации (постольку, поскольку эта схема определяет мотивацию системы).
35. На самом деле заслуживают внимания и многие другие издержки, но описывать их здесь не представляется возможным. Например, связанные с тем, что агенты, находящиеся на вершине этой иерархии, могут оказаться коррумпированными или начнут злоупотреблять своей властью.
36. Чтобы эта гарантия была эффективной, к ее разработке нужно подойти добросовестно. Это поможет избежать манипулирования эмоциональным состоянием эмуляторов и влиять на их принятие решений, в результате чего (например) можно вселить в эмулятора вечный страх, что его отключат или не дадут возможности рационально оценивать имеющиеся у него варианты действий.
37. См., например: [Brinton 1965; Goldstone 1980; 2001]. (Прогресс социальных наук в этом направлении станет отличным подарком для мировых деспотий: в их распоряжении окажутся более точные предсказательные модели социальных беспорядков, которые помогут им оптимизировать свои стратегии контроля над населением и мягко подавлять мятежи в зародыше с меньшими потерями для всех.)
38. См.: [Bostrom 2011 a; 2009 b].
39. В случае полностью искусственной системы можно обеспечить некоторые преимущества институциональной структуры без необходимости создавать субагентов. Например, в процессе принятия решений можно было бы использовать несколько различных точек зрения, не выделяя их в отдельные сущности с полным набором черт, характерных для независимого агента. Однако в случае, когда система не состоит из субагентов, будет сложнее обеспечить полноценное наблюдение за последствиями поведения, вызванного предлагаемыми изменениями, и возврат к предыдущей версии, если эти последствия окажутся нежелательными.
Глава 13. Выбор критериев выбора
1. В ходе недавних опросов профессиональных философов была выявлена доля респондентов, которые «поддерживают или склоняются к поддержке» тех или иных теорий. В области нормативной этики: деонтология — 25,9%; консеквенциализм — 23,6%; этика добродетели —18,2%. В области метаэтики: моральный реализм — 56,4%; моральный антиреализм — 27,7%. В области моральных суждений: когнитивизм — 65,7%; нонкогнитивизм — 17,0%; см.: [Bourget, Chalmers 2009].
2. См.: [Pinker 2011].
3. Обсуждение этого вопроса см. в работе: [Shulman et al. 2009].
4. См.: [Moore 2011].
5. См.: [Bostrom 2006 b].
6. См.: [Bostrom 2009 b].
7. См.: [Bostrom 2011 a].
8. Если быть совсем точным, то нам следует полагаться на его мнение за исключением тех случаев, когда у нас есть весомые основания считать, что наши суждения более точные. Например, мы лучше сверхразума знаем, о чем мы думаем в тот или иной момент, — если, конечно, он не научился сканировать наш мозг. Но если у сверхразума есть доступ к нашим взглядам, то этим замечанием руководствоваться не стоит. Тогда мы вполне можем положиться на его мнение, в каких случаях нам доверять собственным суждениям, а в каких нет. (В отдельных случаях, когда речь идет, например, о дейктических знаниях, сверхразум может «встать на наше место» и объяснить, во что нам рациональнее верить.) О философских дискуссиях на темы моральных суждений и эпистемологического авторитета см. в статье Адама Эльги: [Elga 2007].
9. [Yudkowsky 2004]. См. также: [Mijic 2010].
