37. С одной стороны, контроль над проектом со стороны правительственных структур единственной страны повышает риск, что эта страна монополизирует блага от его реализации. Этот результат хуже того, в котором никому не подотчетные альтруисты стремятся распределить блага между всеми. Более того, такой контроль вовсе не обязательно приведет к распределению благ среди всех граждан этой страны: в зависимости от конкретной страны есть более или менее высокий риск, что блага будут присвоены политической элитой или несколькими лицами, действующими в своих интересах.
38. Уточним только, что использование стимулирующего пакета (о котором шла речь в главе 12) в некоторых обстоятельствах может побудить людей активно участвовать в работе над проектом, а не оставаться пассивными зрителями.
39. Похоже, закон убывающей предельной полезности работает и в гораздо меньших масштабах. Большинство людей предпочли бы гарантированный доступ к одной звезде, чем один шанс из миллиарда владеть галактикой из миллиарда звезд. На самом деле большинство людей скорее согласились бы на одну миллиардную ресурсов Земли, чем на один шанс из миллиарда владеть ею целиком.
40. См.: [Shulman 2010 a].
41. Использование агрегированных этических теорий вызывает определенные проблемы, когда серьезно относишься к идее, что космос может быть бесконечным; см.: [Bostrom 2011 b]. Проблемы возникают и в том случае, если воспринимать серьезно идею о возможности невероятно огромной, хотя и ограниченной, полезности; см.: [Bostrom 2009 b].
42. Если увеличивать размер компьютера, в конечном счете столкнешься с релятивистскими ограничениями из-за задержек в передаче информации между различными его частями — сигналы не могут передаваться быстрее скорости света. Если сжимать компьютер, то столкнешься с пределами миниатюризации на квантовом уровне. Если увеличивать плотность компьютера, упрешься в границы черной дыры. Однако нужно признать, что есть вероятность открытия новых физических свойств, которые когда-нибудь позволят обойти эти ограничения.
43. Линейно с ростом ресурсов бесконечно могло бы расти количество копий человека. Хотя неясно, насколько высоко среднестатистический земной житель оценил бы возможность наличия множества своих копий. Даже у тех, кто предпочел бы прожить множество жизней, функция полезности может не быть линейной относительно количества копий. Вполне возможно, что количество копий, как и продолжительность жизни, для среднестатистического человека отвечает закону убывающей предельной полезности.
44. Высокая степень сотрудничества характерна для синглтона на самом верхнем уровне принятия решений. При этом синглтон мог бы отличаться отсутствием сотрудничества и конфликтами на нижних уровнях, если этого захотели бы составляющие его агенты верхнего уровня.
45. Если каждая из соперничающих команд, работающих над созданием ИИ, убеждена, что ее конкуренты идут в неверном направлении и не имеют никаких шансов приблизить взрывное развитие интеллекта, то исчезает одна из причин для сотрудничества — избежание ощущения гонки — и проектные группы могут независимо друг от друга принять решение замедлить скорость разработки, будучи уверенными, что серьезных конкурентов вокруг них нет.
46. Работающего над докторской диссертацией.
47. Предполагалось, что эта формулировка должна пониматься так, как если бы включала оговорку о необходимости принимать во внимание благо животных и других разумных существ (включая цифровые), которые живут или будут жить в будущем. Это не означает выдачу разработчикам ИИ лицензии на замену их этических представлений представлениями более широкого сообщества. Принцип сочетается с методом когерентного экстраполированного волеизъявления, который мы обсуждали в главе 12, когда база экстраполяции состоит из всех людей.
Необходимое пояснение: формулировка не обязательно предполагает отсутствие в постпереходный период прав собственности на искусственный сверхразум или алгоритмы и данные, из которых он состоит. Она нейтральна к тому, какие правовые или политические системы будут лучше с точки зрения организации транзакций в гипотетическом постчеловеческом обществе будущего. Что формулировка точно предполагает, так это то, что выбор такой системы в той мере, в какой он определяется типом создаваемого сверхразума, следует делать на базе указанного критерия; то есть система устройства постпереходного общества должна работать на благо всего человечества и служить общим этическим идеалам, а не интересам тех, кто оказался первым создателем сверхразума.
48. Очевидно, что принцип распределения сверхдоходов можно уточнить. Например, порог распределения может быть сформулирован в суммах на душу населения, или доля сверхдохода, которую может оставить у себя победитель, должна быть выше средней, чтобы сильнее мотивировать будущее производство (например, использовать принцип теории справедливости Ролза). Можно, в принципе, уйти от сумм в денежном выражении и описать задачу следующим образом: «влияние на будущее человечества», «степень того, насколько интересы каждой из сторон будут учитываться в функции полезности будущего синглтона» или что-то подобное.
Глава 15. Цейтнот
1. Некоторые исследования важны не потому, что приводят к открытиям, но по каким-то иным причинам, например, потому что развлекают, развивают, возвеличивают или вдохновляют тех, кто ими занят.
2. Я не имею в виду, что никто не должен заниматься чистой математикой или философией. Или что эти направления означают пустую трату времени по сравнению со всеми остальными областями науки или жизни в целом. Вероятно, очень хорошо, что некоторые люди могут посвятить себя интеллектуальной деятельности и следовать за своим научным любопытством, куда бы оно ни завело, независимо от любых соображений относительно полезности или возможных последствий этих занятий. Я имею в виду, что как минимум некоторые из этих лучших умов могли бы, поняв, что в обозримом будущем их когнитивная эффективность может совершенно обесцениться, пожелать переключить свое внимание на теоретические проблемы, скорость решения которых имеет для человечества некоторое значение.
3. Однако следует быть внимательными в случаях, когда неопределенность может быть полезна, — вспомните, например, модель риска, связанного с гонкой вооружений (врезка 13), где мы выяснили, что дополнительная стратегическая информация может быть вредна. Говоря в общем, нас должна беспокоить потенциальная опасность информации, см.: [Bostrom 2011 b]. Возникает соблазн сказать, что нам нужно больше анализировать потенциально опасную информацию. Вероятно, это правда, хотя в таком случае нас не может не беспокоить, что в результате такого анализа, в свою очередь, появится потенциально опасная информация.
4. См.: [Bostrom 2007].
5. Я благодарен Карлу Шульману за то, что он подчеркнул этот момент.
Библиография
Acemoglu 2003 — Acemoglu Daron. Labor- and Capital-Augmenting Technical Change // Journal of the European Economic Association, 2003, 1 (1), p. 1–37.
Albertson, Thomson 1976 — Albertson D. G., Thomson J. N. The Pharynx of Caenorhabditis Elegans // Philosophical Transactions of the Royal Society B: Biological Sciences, 1976, 275 (938), p. 299–325.
Allen 2008 — Allen Robert C. A Review of Gregory Clark’s «A Farewell to Alms: A Brief Economic History of the World» // Journal of Economic Literature, 2008, 46 (4), p. 946–973.
American Horse Council, 2005 — National Economic Impact of the US Horse Industry // American Horse Council, 2005 (Retrieved 2013, July 30; http://www.horsecouncil.org/national-economic-impact-us-horse-industry).
Andres et al. 2012 — Andres B., Koethe U., Kroeger T., Helmstaedter M., Briggman K. L., Denk W., Hamprecht F. A. 3D Segmentation of SBFSEM Images of Neuropil by a Graphical Model over Supervoxel Boundaries // Medical Image Analysis, 2012, 16 (4), p. 796–805.
Armstrong 2012 — Armstrong Alex. Computer Competes in Crossword Tournament // I Programmer, 2012, March 19.
Armstrong 2007 — Armstrong Stuart. Chaining God: A Qualitative Approach to AI, Trust and Moral Systems // Unpublished manuscript, 2007, October 20 (Retrieved 2012, December 31; http://www.neweuropeancentury.org/GodAI.pdf).
Armstrong 2010 — Armstrong Stuart. Utility Indifference. Technical Report 2010–1. Oxford: Future of Humanity Institute, University of Oxford, 2010.
Armstrong 2013 — Armstrong Stuart. General Purpose Intelligence: Arguing the Orthogonality Thesis // Analysis and Metaphysics, 2013, 12, p. 68–84.
Armstrong, Sandberg 2013 — Armstrong Stuart, Sandberg Anders. Eternity in Six Hours: Intergalactic Spreading of Intelligent Life and Sharpening the Fermi Paradox // Acta Astronautica, 2013, 89, p. 1–13.
Armstrong, Sotala 2012 — Armstrong Stuart, Sotala Kaj. How We’re Predicting AI — or Failing To // Beyond AI: Artificial Dreams / Eds. Jan Romportl, Pavel Ircing, Eva Zackova, Michal Polak, Radek Schuster. Pilsen: University of West Bohemia, 2012, p. 52–75 (Retrieved 2013, February 2).
Asimov 1942 — Asimov Isaac. Runaround // Astounding Science-Fiction, 1942, March, p. 94–103.
Asimov 1985 — Asimov Isaac. Robots and Empire. New York: Doubleday, 1985.
Aumann 1976 — Aumann Robert J. Agreeing to Disagree // Annals of Statistics, 1976, 4 (6), p. 1236–1239.
