25. Можно даже заявить, что любое определение моральной правоты должно отвечать некоторому условию адекватности, например чтобы даже средний гражданин мог разобраться, что хорошо, а что плохо.
26. Первая опасность состоит в том, что, создавая ИИ, в котором используется модель МП, у нас нет уверенности в своей абсолютной моральной правоте, даже если мы исходим из того, что сам ИИ всегда будет действовать правильно с этической точки зрения. Возможно, с нашей стороны это вообще будет проявлением высокомерия (если учитывать, сколько людей могут не одобрять проект разработки ИИ). Отчасти проблему можно решить за счет тонкой настройки модели МП. Предположим, мы оговорим, как ИИ следует действовать, то есть делать то, что было бы морально правильно, только если разработчики были морально правы, создав его, — в противном случае он должен отключиться. Непохоже, что, создавая такой ИИ, мы были бы морально неправы, поскольку даже если разрабатывать его и было неправильно, то единственным последствием нашего труда стало бы его немедленное отключение, если, конечно, до того момента он не успеет совершить никакого мысленного преступления. (И все-таки мы могли бы быть неправы, например, потому что упустили возможность создать другой ИИ.) Вторая опасность — слишком большая «плотность добра». Представьте, что есть множество морально правильных действий, которые мог бы совершить ИИ, — в смысле моральной допустимости, притом что некоторые из них с моральной точки зрения лучше других. Один вариант — чтобы ИИ выбирал в таких случаях лучшее с моральной точки зрения действие (или одно из лучших, если таких несколько). Другой — чтобы он выбирал из одинаково морально допустимых действий такое, которое удовлетворяет какому-то иному (не моральному) критерию. Например, ИИ мог бы выбирать из морально допустимых действий такое, которое было бы предпочтительнее с точки зрения КЭВ. Такой ИИ никогда не совершит ничего морально недопустимого и поэтому лучше защитит наши интересы, чем тот, который ориентируется лишь на лучшие с моральной точки зрения действия.
27. Оценивая моральную допустимость нашего действия по созданию ИИ, нужно интерпретировать допустимость объективно. Например, в формальном смысле доктор действует морально допустимо, прописывая пациенту лекарство, которое по своему назначению (и по мнению врача) должно помочь заболевшему человеку — но у пациента на этот препарат аллергия, и в результате он может умереть. Если ИИ сосредоточится на объективной моральной допустимости, он обеспечит себе более выигрышную эпистемологическую позицию.
28. Еще более прямолинейно: это зависит от убеждения ИИ в том, какая этическая теория является истинной (или точнее, от распределения вероятностей, присвоенных им этическим теориям).
29. Трудно даже представить, какой невероятно чудесной была бы их жизнь. В работе «Письмо из Утопии» я даже поэтически представил эту будущую жизнь [Bostrom 2008 c], а в работе «Почему я хочу жить в постчеловеческом мире» мною приведены аргументы в пользу того, что некоторые из этих возможностей были бы хороши и для нас, людей, живущих сейчас [Bostrom 2008 b].
30. Тактика продвижения одной рекомендации, если при этом считаешь более правильной другую, может показаться обманом или манипуляцией. Но так можно делать, не боясь показаться неискренним. Почему бы открыто не признавать превосходство идеала, но тем не менее выступать за неидеальный вариант в качестве лучшего из возможных компромиссов?
31. Или какое-то иное слово, предполагающее положительный смысл: хороший, отличный, чудесный.
32. В программировании принцип «делай то, что я имею в виду» называется ненужной добавкой, или бантиком (Do What I Mean, DWIM); см.: [Teitelman 1966].
33. Мы выбрали для обсуждения три проектных решения: описание цели, принятие решений и познание мира, но не собираемся поднимать вопрос об их возможной декомпозиции.
34. С этической точки зрения было бы правильным, чтобы проект предполагал распределение небольшой доли благ, которые будут получены в результате создания сверхразума, в качестве особого вознаграждения тем, кто внес морально допустимый вклад в его успех. Направить на формирование стимулирующего пакета значительную долю благ было бы недостойно. Практически это было бы равно ситуации, когда благотворительный фонд тратит 90% собранных средств на премии сотрудникам и на рекламные кампании по привлечению новых пожертвований.
35. Как можно вознаградить мертвых? В голову приходят несколько вариантов. Во-первых, организация мемориальных торжеств и создание монументов, которые могли бы считаться наградой в том случае, если люди желали посмертной славы. Во-вторых, имена умерших могли бы быть увековечены в таких сферах, как культура, искусство, архитектура и природа. В-третьих, большинство людей беспокоит судьба их потомков, поэтому специальные привилегии можно даровать их детям и внукам. В-четвертых, сверхразум был бы готов создать сравнительно правдоподобные имитационные модели умерших — модели, обладающие разумом и напоминающие свои оригиналы настолько, что ушедшие могли бы считаться воскресшими. Скорее всего, последний вариант достижим лишь для тех, кто после смерти был подвергнут криогенной заморозке, но, может быть, сверхразуму не составит труда сделать что-то подобное и на основании других сохранившихся материальных следов умершего человека: личная переписка, публикации, аудиовизуальные материалы, цифровые записи, а также воспоминания живущих. Кроме того, сверхразум найдет и другие возможности, для нас не столь очевидные.
36. «Ограбление Паскаля» — см.: [Bostrom 2009 b]; неограниченные выигрыши — см.: [Bostrom 2011 a]: фундаментальная нормативная неопределенность — см.: [Bostrom 2009 a].
37. См., например: [Price 1991; Joyce 1999; Drescher 2006; Yudkowsky 2010; Dai 2009].
38. См., например: [Bostrom 2009 a].
39. Уменьшить проблемы, возникающие из-за неверно заданного подхода к принятию решений, можно при помощи косвенной нормативности. Например, при помощи модели КЭВ. При правильном применении она могла бы компенсировать некоторые ошибки, связанные с определением подхода к принятию решений ИИ. Ее использование позволило бы поставить цели, которые наше КЭВ хотело бы внедрить в ИИ, в зависимости от его подхода к принятию решений. Если бы наши идеализированные двойники знали, что они определяют цели для ИИ, который использует определенный подход к принятию решений, то могли бы скорректировать их так, чтобы он вел себя правильно, несмотря на ошибки в этом подходе, — немного напоминает абсурдную ситуацию, когда вслед за линзой, искажающей изображение, ставят другую линзу, исправляющую эту ошибку.
40. Некоторые эпистемологические системы могут быть цельными и не предполагать явно сформулированных принципов. В этом случае преемственность будет обеспечиваться не выполнением этих принципов, а скорее некоторой эпистемологической точкой отсчета — теми или иными предпочтениями, которыми и определяется реакция субъекта на поток событий.
41. Обсуждение проблемы искажения — см.: [Bostrom 2011 a].
42. Например, одним из камней преткновения в рассуждениях о роли наблюдателя является правомерность следующего допущения: из факта вашего существования следует гипотеза, что существованию большего количества наблюдателей N следует присвоить вероятность, пропорциональную N. Аргументы против этого допущения можно найти в незавершенном эксперименте о самонадеянном философе, описанном в книге: [Bostrom 2002 a]. Аргументы в его защиту см.: [Olum 2002]; критику этих аргументов — см.: [Bostrom, Ćirković 2003]. Убежденность в правомерности данного допущения может влиять на различные эмпирические гипотезы, имеющие потенциально высокую стратегическую важность, например на теорему о конце света Картера–Лесли («Аргумент Судного дня»), гипотезу о симуляции и гипотезу о «великом фильтре». См.: [Bostrom 2002 a; 2003 a; 2008 a; Carter 1983; Ćirković et al. 2010; Hanson 1998 d; Leslie 1996; Tegmark, Bostrom 2005]. То же можно сказать и о других аспектах теории выбора наблюдателя.
43. См., например: [Howson, Urbach 1993]. Есть и другие интересные результаты, сужающие диапазон ситуаций, в которых два байесовских агента могут рационально не согласиться друг с другом, притом что их мнение основано на общем знании; см.: [Aumann 1976; Hanson 2006].
44. См. концепцию «верховного судии»: [Yudkowsky 2004].
45. В эпистемологии остаются нерешенными много важных вопросов, некоторые из них были нами упомянуты. Важно то, что нам, возможно, не обязательно иметь все ответы, чтобы обеспечить результат, практически неотличимый от наилучшего. Вполне может сработать смешанная модель, основанная на широком диапазоне априорных распределений.
