17. См.: [Williams 1966].
18. См.: [Leigh 2010].
19. Пример взят из работы Элиезера Юдковского, см.: [Yudkowsky 2011].
20. См.: [Wade 1976]. Проводились также компьютерные эксперименты по симулированию некоторых аспектов биологической эволюции, и иногда тоже с очень неожиданными результатами (см., например: [Yaeger 1994]).
21. При наличии довольно большой — ограниченной, но физически невозможной — вычислительной мощности было бы возможно получить универсальный сверхразум даже на базе имеющихся сейчас алгоритмов. (Например, AIX — UNIX-подобная операционная система IBM, см.: [Hutter 2001].) Но для достижения нужного уровня вычислительной мощности будет недостаточно соблюдения закона Мура даже в течение еще ста лет.
Глава 11. Сценарии многополярного мира
1. Совсем не обязательно, что это наиболее вероятный или желательный сценарий, поскольку он — один из наиболее простых с точки зрения анализа средствами стандартной экономической теории и потому представляет собой удобную стартовую точку для нашего обсуждения.
2. См.: [American Horse Council, 2005]; см. также: [Salem, Rowan 2001].
3. См.: [Acemoglu 2003; Mankiw 2009; Zuleta 2008].
4. См.: [Fredriksen 2012, p. 8; Salverda et al. 2009, p. 133].
5. Важно, чтобы часть капитала была инвестирована в активы, которые растут вместе с рынком. Повысить шансы, что волна не пройдет мимо, может диверсификация портфеля активов, например приобретение паев индексного фонда.
6. Пенсионные системы многих европейских стран являются распределительными, то есть пенсии выплачиваются скорее за счет текущих отчислений и налогов работающих граждан, чем накопленных сбережений. Такая система не будет автоматически удовлетворять нашим требованиям, поскольку в случае внезапного всплеска безработицы доходы, которые распределяются в виде пенсий, могут оскудеть. Однако у правительства может быть возможность восполнить дефицит из каких-то других источников.
7. См.: [American Horse Council, 2005].
8. Чтобы 7 млрд человек получали годовую пенсию в размере 90 000 долларов, потребуется 630 трлн долларов в год, что в десять раз превышает величину современного мирового ВВП. По имеющимся данным, за последние 100 лет он вырос в 19 раз — с 2 млрд долларов в 1900 году до 37 млрд долларов в 2000-м (в международных долларах 1900 года), см.: [Maddison 2007]. Поэтому если темпы роста, которые мы видели в прошлом веке, сохранятся на протяжении следующих двухсот лет, а население планеты не вырастет, обеспечение каждого годовой пенсией в 90 000 долларов будет стоить всего 3% мирового ВВП. Благодаря взрывному развитию искусственного интеллекта такой рост может случиться гораздо раньше. См. также: [Hanson 1998 a; 1998 b; 2008].
9. За последние 70 тысяч лет могло вырасти в миллион раз; см.: [Kremer 1993; Huff et al. 2010].
10. См.: [Cochran, Harpending 2009]; см. также: [Clark 2007] и [Allen 2008] — с критикой.
11. См.: [Kremer 1993].
12. См.: [Basten et al. 2013]. Также возможны сценарии и продолжения роста; но надо сказать, что неопределенность резко вырастает при прогнозе более чем на пару поколений.
13. В среднем в мире минимальный коэффициент фертильности для замещения в 2013 году равнялся 2,33 ребенка на одну женщину. Это число учитывает факт, что два ребенка нужно для того, чтобы заменить родителей, плюс еще «треть» для компенсации: 1) более высокая вероятность рождения мальчиков; 2) ранняя смерть до достижения фертильного возраста; для развитых стран этот показатель ниже, около 2,1 ребенка, из-за более низкой смертности; см.: [Espenshade et al. 2003, Introduction, table 1, p. 580]. Не будь иммиграции, численность населения большинства развитых стран снижалась бы. Приведу несколько примеров стран с фертильностью, недотягивающей до уровня замещения: Сингапур — 0,79 (самая низкая в мире), Япония — 1,39, Китай — 1,55, ЕС — 1,58, Россия — 1,61, Бразилия — 1,81, Иран — 1,86, Великобритания — 1,90. Даже население США медленно уменьшалось бы с их коэффициентом фертильности 2,05; см.: [CIA, 2013].
14. Этот час может пробить лишь через миллиарды лет.
15. Карл Шульман отмечает, что если люди рассчитывают сохранить свой образ жизни в условиях цифровой экономики, им нужно добиться, чтобы политическое устройство цифрового мира обеспечивало бы защиту их интересов на протяжении очень долгого времени [Shulman 2012]. Например, если события в цифровом мире разворачиваются в тысячу раз быстрее, чем вне его, то человеку придется полагаться на политическую стабильность в нем на протяжении 50 000 лет постоянных внутренних изменений. Но если цифровой политический мир будет хоть в чем-то похож на наш, за эти тысячи лет в нем произойдет огромное количество революций, войн и бунтов, способных сделать жизнь обычных людей «снаружи» невыносимой. Даже при минимальных шансах (не превышающих 0,01% за год) начала мировой ядерной войны или подобного ей катаклизма возможна практически неизбежная гибель людей, живущих в гораздо более медленном времени, чем их цифровые имитации. Чтобы устранить эту проблему, может потребоваться более стабильный порядок в цифровой реальности, например правление синглтона, постепенно приобретающего всю большую стабильность.
16. Даже при условии, что машины будут намного эффективнее людей, все-таки может сохраниться некоторый уровень зарплат, при котором окажется выгоднее нанимать работников-людей, скажем, за один цент в час. Но если для самих людей это обернется единственным источником дохода, наш род просто вымрет, потому что не сможет прокормить себя на такие суммы. Конечно, у людей останется еще доход на капитал. Если теперь предположить, что население будет расти до тех пор, пока доход на душу населения не дойдет до уровня прожиточного минимума, может показаться, что после этого люди станут работать усерднее. Допустим, прожиточный минимум равен одному доллару в день на человека. Тогда получается, что население будет расти до тех пор, пока он не снизится до девяноста центов, и людям придется работать на десять часов больше, чтобы получить эти недостающие десять центов. Однако это не обязательно так, поскольку прожиточный минимум зависит от количества выполненной работы — люди, занимающиеся трудом, сжигают больше калорий. Представим себе, что каждый час работы увеличивает издержки на питание на два цента. И теперь можно получить модель, в которой человечество находится в равновесии.
17. Может показаться, что такая ситуация невозможна, поскольку «организм, находящийся в подобном овощном состоянии» не сможет голосовать и защищать свои права. Но он может оставить доверенность ИИ на управление делами и защиту его политических интересов. (Все наши предположения исходят из того, что права собственности будут уважаться.)
18. Не очень понятно, какой термин выбрать: слово убивать звучит более жестоко, чем это может оказаться на самом деле; слово отключать звучит, может быть, более приемлемо, но для нашего случая оно слишком упрощает ситуацию. А сложность в том, что фактически речь идет о двух отдельных процедурах: остановке активной деятельности и удалении информационных шаблонов. Смерть человека обычно предполагает одновременно и то и другое, но в случае с эмуляторами эти процедуры могут быть разделены во времени. Мы могли бы сравнить временную остановку программы с обычным человеческим сном, а постоянную остановку — с комой. Еще сильнее усложняет ситуацию возможность копирования эмуляторов и запуск их с различными скоростями — это вообще не имеет прямых аналогий с человеческой жизнью. См.: [Bostrom 2006 b; Bostrom, Yudkowsky 2014].
19. Придется искать компромисс между общей мощностью параллельных вычислений и их скоростью, поскольку высочайшая скорость вычислений достижима только за счет снижения их эффективности. Это будет особенно верно с началом эры обратимых вычислений.
20. Эмуляторы можно испытывать, подвергая их искушению. Путем многократных проверок, как эмулятор, запущенный из состояния готовности, реагирует на различные последовательности стимулов, можно убедиться в его надежности. Но чем дальше в процессе развития он продвигается от своего исходного состояния, тем сильнее снижается уверенность в нем работодателя. (Поскольку проницательный эмулятор может догадываться, что работает в режиме имитации, следует быть осторожными, экстраполируя его поведение на ситуации, в которых гипотеза о симуляции будет меньше влиять на принимаемые им решения.)
21. Некоторые эмуляторы скорее будут идентифицировать себя со своим кланом — то есть со всеми копиями и вариациями, полученными из одного шаблона, — чем думать о себе как отдельном субъекте. Такие эмуляторы, скорее всего, не станут считать свое отключение смертью, зная, что другие члены клана выживут. Они могут понимать, что рано или поздно их настройки сбросят к некоторому исходному состоянию и они потеряют память, но будут так же мало беспокоиться об этом, как и любители вечеринок, которые часто не могут вспомнить утром события предыдущей ночи, — считайте это ретроградной амнезией, а не смертью.
