Даже если у нас существовала бы рациональная уверенность, что мы обнаружили правильную этическую теорию — которой у нас нет, — по-прежнему оставался бы риск совершения ошибок при ее детальной проработке. У внешне простых этических теорий может иметься множество скрытых противоречий3. Рассмотрим, например, консеквенциалистскую теорию гедонизма (кстати, необыкновенно простую). Если совсем кратко, то она о том, что удовольствие — это ценность, а страдание — нет4. Даже если мы поставим все наши моральные фишки на эту теорию и она окажется верной, останутся открытыми множество важных вопросов. Следует ли присваивать более высокий приоритет «высшим удовольствиям» по сравнению с «низшими» по примеру Джона Стюарта Милля? Как учитывать интенсивность и продолжительность удовольствия? Могут ли страдание и удовольствие взаимно исключать друг друга? Какие типы мышления ассоциируются с морально допустимыми удовольствиями?5 Увеличится ли в два раза количество удовольствия в результате появления двух точных копий одного такого типа разума?6 Существуют ли подсознательные удовольствия? Как быть с чрезвычайно низкими шансами хоть когда-нибудь получить предельное удовольствие? Как объединить удовольствие членов неограниченной популяции в одно целое?7
Неверный ответ на любой из этих вопросов приведет к катастрофе. То есть при выборе конечной ценности для сверхразума, в попытках нащупать хоть какое-то действенное решение, нам придется по-крупному ставить не только на этическую теорию в ее цельном состоянии, но и на частные особенности, на многочисленные интерпретации, всевозможные вкрапления и исключения — при таком обороте наши шансы на точный выстрел, кажется, начнут стремиться к нулю. Глупцы с радостью ухватятся за возможность одним махом решить все важные этические проблемы, а найденные ими удобные ответы сразу загрузить в зародыш ИИ. Мудрецы отправятся в трудный путь поисков альтернативных подходов и разыскивания способов подстраховки.
Все эти размышления подводят нас к варианту косвенной нормативности. Объективная причина создания сверхразума заключается в том, что на него можно переложить инструментальную задачу поиска эффективных путей достижения той или иной ценности. А за счет косвенной нормативности мы можем буквально свалить на него и сам выбор этой системы ценностей.
Косвенная нормативность позволяет решить проблему незнания того, что мы на самом деле хотим, что входит в наши интересы, что является моральным правом или идеалом. Вместо размышлений, основанных на сегодняшнем понимании (которое, вероятно, глубоко ошибочно), можно делегировать некоторую часть когнитивной работы по выбору системы ценностей самому сверхразуму. Он, несомненно, сможет выявить и ошибки и противоречия, искажающие наши представления, поскольку с такой работой лучше него не справится никто. Можно обобщить эту идею и выразить ее в качестве эвристического принципа.
Принцип эпистемологического превосходства
Будущий сверхразум занимает эпистемологически более высокий наблюдательный пункт: его убеждения (видимо, относительно большинства вопросов) с большей вероятностью окажутся истинными, чем наши. Поэтому при любых возможных обстоятельствах следует полагаться на его мнение8.
Косвенная нормативность позволяет применить этот принцип к проблеме выбора системы ценностей. Будучи неуверенными в своей способности задать конкретный нормативный стандарт, мы можем определить какое-то более абстрактное условие, которому должен удовлетворять любой нормативный стандарт, в надежде, что сверхразум справится сам и отыщет конкретный стандарт, удовлетворяющий этому абстрактному условию. А затем мы поставим перед зародышем ИИ его ценностную конечную цель: вести себя в соответствии со своими представлениями о правильных действиях, основанных на этом стандарте, определенном косвенным образом.
Прояснить эту идею нам помогут несколько примеров. Вначале рассмотрим модель косвенной нормативности, предложенную Элиезером Юдковским, — когерентное экстраполированное волеизъявление. Затем разберем несколько вариантов и альтернатив этой модели, чтобы составить представление о диапазоне возможных решений.
Когерентное экстраполированное волеизъявление
Юдковский предложил, что зародышу ИИ следует задать в качестве конечной цели следование когерентному экстраполированному волеизъявлению (далее по тексту — КЭВ) человечества, которое он определял так:
Наше когерентное экстраполированное волеизъявление — это наше желание знать больше; думать быстрее; быть в большей степени людьми, которыми нам хотелось бы быть; стать ближе друг к другу; сделать так, чтобы наши мысли сближали нас, а не разделяли, чтобы наши желания совпадали, а не пересекались; экстраполировать так, как нам хотелось бы экстраполировать; понимать так, как нам хотелось бы понимать9.
Когда Юдковский писал это, он не ставил перед собой задачу создать инструкцию по воплощению в жизнь своего предписания, более напоминающего поэтическое воззвание. Его целью было набросать эскиз того, как могло бы быть определено КЭВ, а также пояснить, зачем нужен именно этот подход.
Многие идеи, лежащие в основе КЭВ, имеют аналоги и предшественников в философской литературе. Например, в этике существует теория идеального наблюдателя, которая исследует понятия (например, «хороший» и «плохой») с точки зрения тех суждений, которые сделал бы гипотетический идеальный наблюдатель (под таковым понимается всеведущий, логически мыслящий, беспристрастный и свободный от любой предвзятости субъект)10. Однако модель КЭВ не является (и не должна считаться) этической теорией. Никто не утверждает, что есть связь между целью и нашим когерентным экстраполированным волеизъявлением. КЭВ можно считать полезным способом аппроксимации всего, что имеет конечную цель без какой-либо связи с этикой. Будучи основным прототипом метода косвенной нормативности, КЭВ заслуживает более подробного изучения.
Некоторые комментарии
Отдельные термины из приведенной выше цитаты требуют пояснения. Желание «думать быстрее» в понимании Юдковского означает стремление быть умнее и глубже проникать в суть вещей. «Стать ближе друг к другу» — видимо, учиться, развиваться и самосовершенствоваться в тесной связи друг с другом.
Требуют своего объяснения некоторые фразы.
«…Чтобы наши мысли сближали нас, а не разделяли…»
ИИ следует работать над тем или иным свойством результата своих размышлений только в той степени, в какой это свойство может быть предсказано им с высокой долей вероятности. Если он неспособен предсказать, что «идеальные мы» желали бы это свойство, ему следует отказаться от реализации своих фантазий и воздержаться от действий. Однако, несмотря на то что многие детали наших идеализированных желаний могут быть неопределенными или непредсказуемыми, есть некие общие рамки наших предпочтений, которые ИИ способен осознать и хотя бы минимально стремиться к тому, чтобы события в будущем развивались в границах этого. Например, если ИИ может уверенно сказать, что наше КЭВ не имеет ничего общего с желанием пребывать в состоянии постоянной агонии или увидеть Вселенную, превращенную в скрепки, то должен действовать так, чтобы не допустить подобных исходов11.
«…Чтобы наши желания совпадали, а не пересекались…»
ИИ следует действовать в соответствии с довольно широким консенсусом экстраполированных волеизъявлений отдельных людей. Небольшое количество сильных, ясно выраженных желаний способно иногда перевесить слабые и невнятные желания большинства. Также Юдковский считает, что для ИИ требуется меньший консенсус, чтобы предотвратить некий конкретный негативный исход, и больший, чтобы действовать с целью реализации некоего конкретного позитивного исхода. «Исходным принципом для КЭВ должен быть консервативный подход к “да” и внимательное отношение к “нет”», — пишет он12.
«Экстраполировать так, как нам хотелось бы экстраполировать; понимать так, как нам хотелось бы понимать…»
Идея, лежащая в основе этих последних модификаторов, похоже, заключается в том, что правила экстраполяции сами должны учитывать экстраполированное волеизъявление. Индивидуум может иметь желание второго порядка (желание относительно того, что желать), чтобы некоторые его желания первого порядка не имели веса при экстраполяции его волеизъявления. Точно так же у нас могут быть желания относительно того, как должен развиваться процесс экстраполирования, и все это должно быть принято во внимание.
Можно возразить, что если удастся правильно определить понятие когерентного экстраполированного волеизъявления человечества, все равно окажется невозможным — даже для сверхразума — выяснить, что человечество хотело бы в гипотетических идеальных обстоятельствах, предусмотренных методом КЭВ. Если у ИИ не будет никакой информации о содержании нашего экстраполированного волеизъявления, в его распоряжении не останется никаких зацепок, которыми он мог бы руководствоваться в своем поведении. Хотя точно узнать КЭВ человечества действительно трудно, однако вполне возможно сформировать о нем информированное суждение. Причем возможно уже сегодня, не имея под рукой машинного сверхразума. Например, наше КЭВ видит людей будущего как людей, скорее живущих богато и счастливо, чем испытывающих невыносимые страдания. Если мы способны делать такие разумные предположения, то сверхразум тем более справится. То есть с самого начала поведение сверхразума может определяться его оценками относительно содержания нашего КЭВ. У него будут сильные инструментальные причины уточнять эти первоначальные смыслы (например, изучая человеческую культуру и психологию, сканируя мозг людей и размышляя, каким образом мы поступали бы, если знали бы больше, думали бы глубже и так далее). В своих исследованиях сверхразум руководствовался бы собственными первоначальными оценками КЭВ. Поэтому он не станет проводить бесчисленные опыты над имитационными моделями, сопровождающиеся безмерными страданиями этих сущностей, зная, что наше КЭВ сочтет такие эксперименты преступной безнравственностью.
