58. Минимаксный алгоритм поиска с альфа-бета отсечениями использовался совместно со специфической для шахмат функцией эвристической оценки позиций — это дало в сочетании с удачной библиотекой дебютов и эндшпилей, а также другими хитростями, очень сильную шахматную программу.
59. Впрочем, учитывая достижения в изучении оценочной эвристики в ходе моделирования, многие базовые алгоритмы могли бы хорошо проявить себя в большом количестве других игр.
60. См.: [Nilsson 2009, p. 318]. Конечно, Кнут несколько преувеличил успехи машинного разума. Все-таки есть еще интеллектуальные задачи, в которых ИИ не преуспел; например, остаются «непродуманными» такие аспекты, как открытие новых направлений в чистой математике, придумывание свежих философских концепций, создание циклов детективных романов, организация военного переворота, разработка очень нужного и инновационного товара широкого потребления.
61. См.: [Shapiro 1992].
62. Можно только предполагать, почему машине трудно достичь человеческого уровня в восприятии окружающей действительности, регуляции двигательных функций, здравом смысле и понимании языка. Одна из причин заключается в том, что в нашем мозгу имеется специальный механизм, управляющий этими свойствами, — достигшие в процессе эволюции совершенства нейронные структуры. Логическое мышление и навыки вроде игры в шахматы, в отличие от перечисленных выше способностей, не столь естественны, и потому при решении этих задач мы вынуждены полагаться на ограниченные когнитивные ресурсы общего назначения. Возможно, для вычислений и явно выраженных логических рассуждений наш мозг запускает что-то похожее на «виртуальную машину» — медленный и громоздкий психический симулятор универсального компьютера. Если наше предположение верно, то тогда получается забавная вещь: не КИИ моделирует человеческое мышление, а как раз наоборот — логически мыслящий человек симулирует программу ИИ.
63. Надо заметить, что по мнению меньшинства, представленного приблизительно 20% взрослого населения США, Солнце «продолжает» вращаться вокруг Земли, — подобная картина наблюдается и в других развитых странах [Crabtree 1999; Dean 2005].
64. См.: [World Robotics 2011].
65. По оценке, взятой из работы: [Guizzo 2010].
66. См.: [Holley 2009].
67. Кроме того, есть гибридные подходы, основанные как на статистике, так и на правилах, но в наше время они не представляют никакого интереса.
68. См.: [Cross, Walker 1994; Hedberg 2002].
69. По сообщенным мне в частном порядке статистическим данным TABB Group — компании, специализирующейся на анализе рынка капиталов; ее офисы находятся в Нью-Йорке и Лодоне.
70. См.: [CFTC/SEC Report on May 6, 2010]; другую точку зрения на события 6 мая 2010 года см.: [CME Group, 2010][35].
71. Мне не хотелось бы, чтобы это воспринималось как аргумент против алгоритмического высокочастотного трейдинга, который вполне способен играть полезную роль, повышая ликвидность и эффективность рынка.
72. Менее масштабное потрясение случилось на фондовом рынке 1 августа 2012 года, отчасти причиной стало то обстоятельство, что автоматический прерыватель не был запрограммирован приостанавливать торги в случае резких изменений в количестве обращаемых акций, см.: [Popper 2012]. Это затрагивает еще одну нашу тему: трудно предусмотреть все возможные варианты, когда стандартная ситуация, которая держится на хорошо продуманных принципах, вдруг выходит из-под контроля.
73. См.: [Nilsson 2009, p. 319].
74. См.: [Minsky 2006; McCarthy 2007; Beal, Winston 2009].
75. По данным Питера Норвига (из личного общения). В принципе, любые курсы по информационным технологиям и машинному обучению очень популярны. Может быть, это объясняется неожиданно возросшим массовым интересом к аналитике больших данных (big data) — интересом, инициированным в свое время Google и весьма подогреваемым огромными призовыми суммами Netflix.
76. См.: [Armstrong, Sotala 2012].
77. См.: [Müller, Bostrom <В печати>].
78. См.: [Baum et al. 2011; Sandberg, Bostrom 2011].
79. См.: [Nilsson 2009].
80. Безусловно, и в этом случае сохранялось условие, что научная деятельность будет продолжаться «без серьезных сбоев», а в мире не случится никаких цивилизационных катастроф. В интервью Нильсон использовал следующее определение ИИЧУ: «ИИ, способный выполнять приблизительно 80% работы не хуже человека или даже лучше» [Kruel 2012].
81. В таблице показаны результаты четырех отдельных опросов, в последней строке даны средние показатели. Первые два опроса проводились среди участников нескольких научных конференций. PT-AI — конференция «Философия и теория ИИ» (Салоники, 2011); опрос состоялся в ноябре 2012 года; всего участников — 88 человек, количество респондентов — 43 человека. AGI — конференции «Универсальный искусственный интеллект» и «Универсальный искусственный интеллект — степень воздействия и угрозы» (Оксфорд, декабрь 2012); всего участников — 111 человек, количество респондентов — 72 человека. EETN — съезд Греческой ассоциации искусственного интеллекта (апрель, 2013); всего участников — 250 человек, количество респондентов — 26 человек. TOP100 — опрос ведущих специалистов по искусственному интеллекту в соответствии с индексом цитирования (май 2013); всего в списке — 100 человек, количество респондентов — 29 человек.
82. См.: [Kruel 2011] — в работе собраны интервью с 28 специалистами по ИИ и в смежных областях.
83. На диаграмме показаны перенормированные медианные оценки. Средние значения несколько отличаются. Например, средние значения для варианта «чрезвычайно негативное» были равны 7,6% (в Tоп-100) и 17,2% (в объединенной оценке по всем опросам).
84. В литературе встречается огромное количество подтверждений ненадежности прогнозов экспертов во многих областях, поэтому есть все основания полагать, что подобное положение истинно и для сферы изучения искусственного интеллекта. В частности, делающие прогнозы люди, как правило, слишком уверенные в своей правоте, считают себя более точными предсказателями, чем это есть на самом деле, и поэтому присваивают слишком низкую вероятность возможности, что их любимая гипотеза может оказаться ложной [Tetlock 2005]. (О других документально зафиксированных заблуждениях см., например: [Gilovich et al. 2002].) Однако неопределенность — неотъемлемая черта человеческой жизни, и многие наши действия неизбежно основаны на вероятностных прогнозах, то есть ожиданиях того, какие из возможных событий произойдут скорее всего. Отказ от более четко сформулированных вероятностных прогнозов не устранит эпистемологическую проблему, а лишь задвинет ее в тень [Bostrom 2007]. Вместо этого нашей реакцией на чрезмерную самонадеянность должны стать как расширение доверительных интервалов, или интервалов правдоподобия, так и борьба с собственными предубеждениями путем рассмотрения проблемы с различных точек зрения и тренировки интеллектуальной честности. В долгосрочной перспективе можно также работать над созданием методик, подходов к обучению и институтов, которые помогут нам достичь лучших проверочных образцов. См. также: [Armstrong, Sotala 2012].
Глава 2. Путь к сверхразуму
1. Во-первых, этому определению сверхразума наиболее близка формулировка, опубликованная в работах: [Bostrom 2003 c; Bostrom 2006 a]; во-вторых, оно вполне отвечает формализованному условию Шейна Легга: «Интеллект оценивается способностью агента добиваться своей цели в широком диапазоне условий» [Legg 2008]; в-третьих, оно очень напоминает описание, сделанное Ирвингом Гудом, которое приведено нами в главе 1 настоящего издания: «Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека» [Good 1965, p. 33].
2. По той же причине не буду выстраивать никаких предположений, сможет ли сверхразумная машина обрести «истинную интенциональность», то есть иметь самосознание и действовать преднамеренно (при всем уважении к Джону Сёрлу, она, похоже, и на это способна), поскольку данный вопрос не имеет отношения к предмету нашей книги. Также не собираюсь занимать ничью сторону — ни адептов интернализма, ни последователей экстернализма — в яростно ведущихся среди философов дискуссиях на такие темы, как содержание сознания и расширение сознания, см.: [Clark, Chalmers 1998].
3. См.: [Turing 1950, p. 456].
4. См.: [Turing 1950, p. 456].
5. См.: [Chalmers 2010; Moravec 1976; Moravec 1988; Moravec 1998; Moravec 1999].
6. См.: [Moravec 1976]; аналогичную аргументацию приводит и Чалмерс, см.: [Chalmers 2010].
7. Более подробно эта тема раскрывается в статье: [Shulman, Bostrom 2012].
