В первую очередь я благодарен всем за активное участие в обсуждении темы — это Росс Андерсен, Стюарт Армстронг, Оуэн Коттон-Баррат, Ник Бекстед, Дэвид Чалмерс, Пол Кристиано, Милан Чиркович, Дэниел Деннет, Дэвид Дойч, Дэниел Дьюи, Эрик Дрекслер, Питер Эккерсли, Амнон Эден, Оуэн Эванс, Бенья Фалленштейн, Алекс Флинт, Карл Фрей, Иэн Голдин, Катя Грэйс, Дж. Сторрс Холл, Робин Хэнсон, Дэмис Хассабис, Джеймс Хьюз, Маркус Хаттер, Гарри Каспаров, Марцин Кульчицки, Шейн Легг, Моше Лукс, Уиллам Макаскилл, Эрик Мандельбаум, Джеймс Мартин, Лилиан Мартин, Роко Мийич, Винсент Мюллер, Элон Маск, Шон О’Хейгертах, Тоби Орд, Деннис Памлин, Дерек Парфит, Дэвид Пирс, Хью Прайс, Мартин Рис, Билл Роско, Стюарт Рассел, Анна Саламон, Лу Салкинд, Андерс Сандберг, Джулиан Савулеску, Йюрген Шмидхубер, Николас Шекел, Марри Шанахан, Ноэль Шарки, Карл Шульман, Питер Сингер, Дэн Стойческу, Яаан Таллинн, Александр Тамас, Макс Тегмарк, Роман Ямпольский и Элиезер Юдковский.
Я признателен тем, кто высказал подробные критические замечания, — это Милан Чиркович, Дэниел Дьюи, Оуэн Эванс, Ник Хэй, Кит Мэнсфилд, Люк Мюельхаузер, Тоби Орд, Джесс Ридел, Андерс Сандберг, Марри Шанахан и Карл Шульман.
Хочу поблагодарить за советы и помощь в исследованиях Стюарта Армстронга, Дэниела Дьюи, Эрика Дрекслера, Александра Эрлера, Ребекку Роуч и Андерса Сандберга.
Я благодарен за помощь в подготовке рукописи Калебу Беллу, Мало Бургону, Робину Брандту, Лансу Бушу, Кэти Дугласс, Александру Эрлеру, Кристиану Ронну, Сьюзан Роджерс, Эндрю Снайдеру-Битти, Сесилии Тилли и Алексу Вермееру. Особенно хочу выразить признательность моему редактору Киту Мэнсфилду за его абсолютную поддержку на протяжении всей работы.
Прошу прощения у всех, чье имя должен был бы здесь упомянуть.
В заключение говорю огромное спасибо людям, профинансировавшим мой труд, а также друзьям и близким — без вашей поддержки я никогда не написал бы эту книгу.
Об авторе
Ник Бостром — профессор факультета философии Оксфордского университета, основатель и директор Института будущего человечества — междисциплинарного исследовательского центра, занимающегося изучением возможного влияния технологий на будущие глобальные катастрофы. Члены института — лучшие математики, философы и ученые.
Помимо философии, Бостром специализируется на нейробиологии, математической логике и физике. Он — автор более 200 научных публикаций и лауреат премии Eugene R. Gannon Award, которая каждый год вручается одному ученому в мире за достижения в области философии, математики и естественных наук.
Ник Бостром — самый молодой представитель топ-15 списка ведущих мыслителей мира по версии журнала Prospect. Его работы переведены на 22 языка.
Примечания редакции
[1] Гоминиды (лат. Hominidae) — высокоорганизованное семейство человекообразных обезьян; гоминид, человек ископаемый, представляет собой промежуточное звено между приматом и человеком разумным. Здесь и далее: прим. ред.
[2] Согласно Центру по изучению экзистенциальных рисков (Кембридж), таковыми считаются потенциальные угрозы для человечества: искусственный интеллект, изменение климата, ядерное оружие, биотехнологии.
[3] Альфред Уайтхед, Бертран Рассел. Основания математики. В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. Самара: Самарский университет, 2005–2006.
[4] Коннективизм, или коннекционизм (connectionism), — моделирует в сетях мыслительные и поведенческие явления из взаимосвязанных простых элементов; на самом деле понятие коннективизма возникло намного раньше самих искусственных нейронных систем; как подход он применяется не только в области искусственного интеллекта, но и в философии сознания, психологии, когнитивистике.
[5] AI-полная задача (где AI — artificial intelligence («искусственный интеллект»)) — неформальный термин, который применяется в теории ИИ по аналогии с NP-полным классом задач. По существу означает задачу создания искусственного интеллекта человеческого уровня.
[6] Алгоритмический высокочастотный трейдинг, или алгоритмическая высокочастотная торговля (algorithmic high-frequency trading), — формализованный процесс совершения торговых операций на финансовых рынках по заданному алгоритму с использованием специализированных компьютерных систем (торговых роботов).
[7] Квалиа (от множ. числа лат. qualia — «свойства, качества») — философский термин, обозначающий субъективные ощущения, свойства чувственного опыта.
[8] А. Тьюринг. Может ли машина мыслить? / Пер. с англ. Ю. А. Данилова. М.: Гос. изд-во физико-математической литературы, 1960. С. 34.
[9] А. Тьюринг. Может ли машина мыслить? С. 35.
[10] Интервал неопределенности (uncertainty interval) — количественная мера, характеризующая степень неопределенности результата оценки.
[11] Синдром «запертого человека» (синдром изоляции, синдром деэфферентации) — синдром, который характеризуется отсутствием адекватной реакции больного на внешние, в том числе и словесные, стимулы из-за тетраплегии и паралича бульбарной, мимической и жевательной мускулатуры. Причинами развития синдрома могут быть инфаркт основания мозга, кровоизлияние в мозг, полиомиелит, некоторые яды.
[12] Промульгация (promulgation) — официальное провозглашение закона, принятого парламентом или главой государства. Гносеологические правила — адекватное отражение объективной действительности; понятие, относящееся к нормативным правовым актам.
[13] Декомпозиция (decomposition) — научный метод, заключающийся в разделении целого на части и позволяющий рассматривать любую исследуемую систему на основании ее признаков как сложную, состоящую из отдельных взаимосвязанных подсистем, которые, в свою очередь, могут быть расчленены на части; применяется при анализе материальных объектов, процессов, явлений и понятий.
[14] Брадителический (bradytelic) — присущий некоторым организмам темп морфологической эволюции, близкий к нулю, например отдельные виды моллюсков претерпели за последние 400 млн лет самые незначительные изменения.
[15] Речь идет о Марселе Прусте.
[16] Ханна Арендт (1906–1975) — один из самых ярких философов нашего времени, изучавшая проблемы власти, насилия, зла, свободы; основоположник современной теории тоталитаризма. Бенни Хилл (1924–1992) — популярный английский комический актер.
[17] Голландский аукцион (Dutch auction) — типичный для этой страны аукцион, в ходе которого в начале объявляется самая высокая цена, а затем ставка снижается до тех пор, пока не появится первый покупатель; стал обобщенным названием для любых торгов, где ведется игра на понижение.
[18] Вроде рычажка, замыкающего ток в электродах, на который беспрерывно нажимали подопытные крысы Олдса и Милнера (кажется, впервые термин самостимуляция использовал писатель-фантаст Ларри Нивен [Niven 1973], но восходит он к реальным экспериментам по прямой электростимуляции «зон вознаграждения» мозга, которые проводили на животных Джеймс Олдс и Питер Милнер, см.: [Olds, Milner 1954; Oshima, Katayama 2010]. См. также: [Ring, Orseau 2011].), чтобы производить самораздражение в центрах наслаждения, куда были подключены электроды.
[19] «Включись, настройся, выпадай» (Turn on, tune in, drop out) — фраза Тимоти Лири, американского психолога, сторонника теории «расширения сознания», посвятившего жизнь изучению психоделических препаратов и исследованию их влияния на психическую деятельность и нервную систему человека.
[20] Перевод Б. Пастернака.
[21] Консеквенциализм (consequentialism) — этическая теория, согласно которой правильность или неправильность действий оценивается с точки зрения того, каковы их результаты или последствия.
[22] Альфред Уайтхед, Бертран Рассел. Основания математики. В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. Самара: Самарский университет, 2005–2006.
[23] Бертран Рассел. Философия логического атомизма / Пер. с англ. В. А. Суровцева. Томск: Водолей, 1999. С. 5.
[24] Классический утилитаризм, или ранний утилитаризм (от лат. utilitas — «польза, выгода»), — направление в теории этики, согласно которому моральная ценность поведения или поступка определяется его полезностью; как философское учение окончательно сложился во второй половине XIX — первой половине XX вв.
[25] «Секретный агент Макгайвер» (MacGyver) — популярный американский телесериал (1985–1992).
[26] Laissez-faire (фр. букв. «не мешать; оставаться пассивным») — принцип невмешательства; экономическая доктрина, согласно которой государственное вмешательство в экономику должно быть минимальным.
[27] Joie de vivre (фр.) — радость жизни.
