10. Это не исключает развития любого сценария, по которому ИИ потерпит поражение. Например, ИИ может сознательно выбрать высокий уровень риска, имеющий большую вероятность неудачи. Однако в этом случае условие принимает другие формы: 1) ИИ объективно оценивает, что шансы на успех довольно низки; 2) ИИ считает, что при игре возможны лишь самые высокие ставки, и просто не берет во внимание другие варианты действий — те варианты, которые мы, современные люди, в отличие от ИИ замечаем и можем просчитать.
11. См.: [Freitas 2000; Vassar, Freitas 2006].
12. См.: [Yudkowsky 2008 a].
13. См.: [Freitas 1980; Freitas, Merkle 2004, ch. 3; Armstrong, Sandberg 2013].
14. Эта оценка основана на данных космического аппарата WMAP[37] о космологической плотности барионов, равной 9,9 × 10–30 г/см3, и предположении, что 90% этой массы приходится на межгалактический газ, что 15% общей галактической массы (около 80% массы барионов) составляет масса звезд и что масса средней звезды равна 0,7 массы Солнца; см.: [Read, Trentham 2005; Carroll, Ostlie 2007].
15. См.: [Armstrong, Sandberg 2013].
16. Даже при движении со скоростью, равной 100% скорости света (которая недостижима для объектов с массой покоя, отличной от нуля), можно добраться не больше чем до 6 × 109 галактик; см.: [Gott et al. 2005; Heyl 2005]. Мы исходим из того, что наше нынешнее понимание соответствующих физических законов верное. Но с уверенностью говорить о любой верхней границе сложно, поскольку вполне вероятно, что сверхразумная цивилизация может увеличить доступное ей пространство какими-то путями, кажущимися нам сегодня невозможными (например, создав машину времени, или породив новые расширяющиеся вселенные, или каким-то иным невообразимым способом).
17. Здесь дана лишь очень грубая оценка, так как нам неизвестно, сколько обитаемых планет приходится на одну звезду. Уэсли Трауб считает, что у трети звезд спектральных классов F, G и K есть как минимум одна планета земного типа в зоне, где возможна жизнь [Traub 2012]; см. также: [Clavin 2012]. На звезды классов F, G, K приходится примерно 22,7% звезд в окрестностях Солнечной системы, то есть у 7,6% звезд есть потенциально подходящие для жизни планеты. Кроме того, такие планеты могут быть у более многочисленных звезд класса М, см.: [Gilster 2012]; см. также: [Robles et al. 2008].
Совсем необязательно, чтобы опасностям межгалактических путешествий подвергались человеческие существа. За тем, как продвигается колонизация космоса, вполне способен присмотреть сам ИИ. А Homo sapiens позволят размножаться ради получения данных, которые ИИ будет использовать для создания новых представителей нашего вида. Например, синтезируют ДНК на базе имеющейся генетической информации, выведут первых людей в инкубаторе, а затем вырастят и обучат их при помощи воспитателей, обладающих ИИ и антропоморфной внешностью.
18. См.: [O’Neill 1974].
19. Фримен Дайсон утверждает [Dyson 1960], что позаимствовал свою идею у британского писателя-фантаста Олафа Стэплдона ([Olaf Stapledon 1937]), который, в свою очередь, мог черпать полезные для себя мысли в трудах британского ученого Джона Бернала, см.: [Dyson 1979, p. 211].
20. Принцип Ландауэра гласит, что минимальное количество энергии, которая необходима для изменения одного бита информации, равна kT ln 2, где k — константа Больцмана (1,38 × 10–23 J/K), а T — температура. Если предположить, что схема работает при температуре около 300 К, тогда 1026 Вт позволяет нам стирать примерно 1047 бит в секунду. (О достижимой эффективности наномеханических вычислительных устройств см.: [Drexler 1992]; см. также: [Bradbury 1999; Sandberg 1999; Ćirković 2004]. По поводу обоснованности принципа Ландауэра все еще идут споры, см., например: [Norton 2011].)
21. Звезды различаются по своей мощности, но Солнце представляет собой довольно типичную звезду главной последовательности.
22. Возможно провести более подробный анализ и внимательно изучить, какие типы вычислений нас интересуют. Количество возможных последовательных вычислений довольно ограниченно, поскольку быстрый последовательный компьютер должен быть небольшого размера, чтобы минимизировать задержки в передаче данных между различными его частями. Есть также ограничение на количество бит, которые можно хранить, и, как мы видели, на количество необратимых вычислительных операций (включая стирание информации), которые можно выполнить.
23. См., например: [Huffman, Pless 2003; Knill et al. 2000; Drexler 1986].
24. Иначе говоря, дистанция будет небольшой при каком-то «естественном» показателе, например логарифме численности населения, которому можно обеспечить прожиточный минимум, если на то направить все имеющиеся ресурсы.
25. Мы исходим из предположения, что внеземных цивилизаций, которые могут встать у него на пути, просто не существует. А также из ложности гипотезы симуляции, см.: [Bostrom 2003 a]. Если какое-то из этих предположения неверно, могут возникнуть серьезные катаклизмы неантропогенного характера — то есть те, которые вызваны агентами, отличными от людей; см.: [Bostrom 2003 b; 2009 c].
26. Например, благоразумный синглтон, осознав идею эволюции, мог бы предпринять попытки постепенно повысить уровень своего коллективного интеллекта, используя для этого евгенические программы.
27. См.: [Tetlock, Belkin 1996].
28. Уточним, что колонизация, а также реинжиниринг заметной и доступной части Вселенной, то есть ее фундаментальное переосмысление и радикальное перепроектирование, в настоящее время не является достижимой задачей. Межгалактические путешествия лежат за пределами возможностей современных технологий. Речь идет о том, что мы, в принципе, способны использовать имеющиеся у нас уже сейчас ресурсы для создания дополнительных возможностей, тем самым обеспечив косвенную достижимость этой цели. Безусловная правда, что человечество пока не является синглтоном и что нет уверенности в отсутствии некой разумной силы, с противодействием которой мы столкнемся в процессе реинжиниринга Вселенной. Однако чтобы преодолеть порог устойчивости благоразумного синглтона, достаточно обладать такими возможностями, которые сделали бы достижимой задачу колонизации и реинжиниринга Вселенной благоразумным синглтоном, не встречающим противодействия другой разумной силы.
29. Иногда полезно говорить о двух ИИ, обладающих равной сверхмощью. В более широком смысле слова можно было бы считать, что сверхмощь в какой-то области предполагает сравнение возможностей действующей силы и человеческой цивилизации, но за исключением другого ИИ.
Глава 7. Намерения сверхразума
1. Конечно, все сказанное не исключает, что могут быть различия — довольно незначительные под микроскопом, но имеющие большое значение с функциональной точки зрения.
2. См.: [Yudkowsky 2008 a, p. 310].
3. Дэвид Юм, шотландский философ эпохи Просвещения, считал, что одной убежденности (например, в том, как правильно поступать) недостаточно для мотивации поступка — требуется еще желание. Казалось бы, это только снимает одно возражение, которое возможно выдвинуть против нашего тезиса: достаточно развитый интеллект непременно обретет определенные убеждения, что обязательно приведет к появлению определенных мотиваций. Однако, несмотря на то что тезис об ортогональности внешне подкрепляется юмовской мотивационной концепцией, он не предполагает ее в качестве необходимого условия. В частности, трудно отрицать, что иногда лишь голые убеждения служат вполне убедительной мотивацией какого-либо действия. Почему бы не предположить, например, что агент, обладающий высоким интеллектом, может быть настроен на любой план действий, если на то у него имеются довольно сильные желания. Второй случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если формирование подобных убеждений у обладающего произвольно высоким интеллектом агента само по себе не мотивирует его на соответствующие поступки. Третий случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если возможно создать агента (или проще: запустить «процесс оптимизации») с произвольно высоким интеллектом, но с настолько чужеродным устройством, что у него вообще не будет прямых функциональных аналогов таким человеческим понятиям, как «убеждение» и «желание». (Недавние попытки защитить концепцию Юма можно найти в работах: [Smith 1987; Lewis 1988; Sinhababu 2009].)
4. Например, Дерек Парфит считает, что некоторые базовые предпочтения могут быть иррациональными, как, скажем, у нормального, в принципе, агента, но с синдромом «безразличия к следующему вторнику», то есть гедониста, которого очень заботит качество его будущего опыта, за одним исключением. Этим исключением является его безразличие к событиям будущего вторника. Вообще то, что происходит по вторникам, ему не безразлично. Ему безразличны лишь страдания и удовольствие, которые его ждут в следующий вторник… Это безразличие — неоспоримый факт. И поэтому, составляя планы на будущее, он предпочтет перспективу огромных страданий по вторникам умеренным страданиям в любой другой день [Parfit 1986, p. 123–124]; см. также: [Parfit 2011].
