«Экстраполировать так, как нам хотелось бы экстраполировать; понимать так, как нам хотелось бы понимать…»
Идея, лежащая в основе этих последних модификаторов, похоже, заключается в том, что правила экстраполяции сами должны учитывать экстраполированное волеизъявление. Индивидуум может иметь желание второго порядка (желание относительно того, что желать), чтобы некоторые его желания первого порядка не имели веса при экстраполяции его волеизъявления. Точно так же у нас могут быть желания относительно того, как должен развиваться процесс экстраполирования, и все это должно быть принято во внимание.
Можно возразить, что если удастся правильно определить понятие когерентного экстраполированного волеизъявления человечества, все равно окажется невозможным — даже для сверхразума — выяснить, что человечество хотело бы в гипотетических идеальных обстоятельствах, предусмотренных методом КЭВ. Если у ИИ не будет никакой информации о содержании нашего экстраполированного волеизъявления, в его распоряжении не останется никаких зацепок, которыми он мог бы руководствоваться в своем поведении. Хотя точно узнать КЭВ человечества действительно трудно, однако вполне возможно сформировать о нем информированное суждение. Причем возможно уже сегодня, не имея под рукой машинного сверхразума. Например, наше КЭВ видит людей будущего как людей, скорее живущих богато и счастливо, чем испытывающих невыносимые страдания. Если мы способны делать такие разумные предположения, то сверхразум тем более справится. То есть с самого начала поведение сверхразума может определяться его оценками относительно содержания нашего КЭВ. У него будут сильные инструментальные причины уточнять эти первоначальные смыслы (например, изучая человеческую культуру и психологию, сканируя мозг людей и размышляя, каким образом мы поступали бы, если знали бы больше, думали бы глубже и так далее). В своих исследованиях сверхразум руководствовался бы собственными первоначальными оценками КЭВ. Поэтому он не станет проводить бесчисленные опыты над имитационными моделями, сопровождающиеся безмерными страданиями этих сущностей, зная, что наше КЭВ сочтет такие эксперименты преступной безнравственностью.
Приведем еще одно возражение: в мире существует такое разнообразие образов жизни и сводов этических норм, что вряд ли получится объединить их в единую систему КЭВ. Даже если удастся это сделать, результат может быть не особенно аппетитным — маловероятно сделать что-то съедобное из сваленных в одну тарелку лучших кусочков любимейших блюд всех людей и народов13. Ответ здесь прост: метод КЭВ не предполагает смешивать воедино все формы жизнедеятельности, все мировоззрения, этические нормы и личностные ценности человека. КЭВ по определению работает лишь в том случае, когда наши волеизъявления когерентны. Если разногласие между ними нарастает, несмотря на перебор различных идеальных условий, процесс должен воздержаться от определения результата. Продолжим кулинарную аналогию: хотя у людей различных культур могут быть разные любимые блюда, тем не менее люди способны достичь согласия в том, что еда не должна быть токсичной. То есть КЭВ могло бы действовать с общей целью не допустить токсичности еды, а в остальном люди совершенствовали бы свое кулинарное мастерство без его руководства и вмешательства.
Целесообразность КЭВ
Юдковский приводит семь аргументов в пользу метода КЭВ. Три из них, по сути, говорят, что даже при наличии гуманной и полезной цели может оказаться довольно трудно определить и явно выразить набор правил, не имеющих ненамеренных интерпретаций и нежелательных следствий14. Метод КЭВ видится его автору строгим и способным к самокоррекции, предполагается, что КЭВ обращается к источникам наших целей, вместо того чтобы полагаться на нашу способность перечислить и раз и навсегда правильно сформулировать самые существенные из них.
Оставшиеся четыре аргумента выходят за рамки фундаментальных (и важнейших) вопросов. Они представляют собой конкретные пожелания к потенциальным решениям проблемы: как давать определения системам ценностей, — предполагая, что КЭВ удовлетворит этим пожеланиям.
«Воплощать совершенствование этических норм»
Пожелание того, чтобы решение допускало возможность прогресса в морально-нравственных вопросах. Мы предполагаем, что наши нынешние этические нормы могут иметь множество недостатков, и, скорее всего, серьезных недостатков. Если мы сформулировали бы для ИИ список конкретных и неизменных этических норм, которым он должен следовать, мы фактически зафиксировали бы нынешнее состояние моральных установок со всеми их ошибками, что убило бы всякую надежду на их совершенствование. Напротив, метод КЭВ оставляет возможность такого роста, поскольку позволяет ИИ пробовать делать то, что мы сами сделали бы, если продолжили бы развиваться в благоприятных условиях, и вполне возможно, что в этом случае нам удалось бы избавиться от имеющихся недостатков и ограничений своих этических норм.
«Избегать взлома судьбы человечества»
Юдковский имеет в виду сценарий, по которому небольшая группа программистов создает зародыш ИИ, превращающийся в сверхразум и обретающий абсолютное стратегическое преимущество. То есть в руках программистов сосредоточена судьба как человечества, так и всего космического пространства. Несомненно, это накладывает колоссальную ответственность, которая может обернуться непосильным бременем для любого смертного. Причем когда программисты окажутся в такой ситуации, то полностью уклониться от ответственности им уже не удастся, так как любой сделанный ими выбор, включая отказ от дальнейшего осуществления проекта, будет иметь исторические последствия для мира. Юдковский считает, что КЭВ не даст создателям ИИ возможности получить привилегию и позволит избежать непомерной тяжести определять судьбу всего мира. Запустив процесс, который руководствуется когерентным экстраполированным волеизъявлением человечества — в противовес их собственной воле или предпочитаемой этической теории, — программисты фактически разделяют с другими свою ответственность за влияние на будущее человеческой цивилизации.
«Избегать создания мотивов для борьбы за исходные параметры системы»
Разделение со всем человечеством ответственности за его будущее не только предпочтительнее с точки зрения этики по сравнению с фиксацией собственных предпочтений, но и позволяет группе программистов снизить вероятность конфликта между создателями первого сверхразума. Метод КЭВ предполагает, что у программистов (и у организаторов проекта) не больше влияния на результат его действий, чем у любого другого человека — хотя они, конечно, играют главную причинную роль в определении структуры экстраполирования и в решении применить КЭВ, а не какой-то иной метод. Избегать конфликта важно не только из-за его непосредственного вреда, но и потому что он подрывает возможности сотрудничества в ходе решения важнейших проблем, связанных с безопасностью и эффективностью развития сверхразума.
Предполагается, что КЭВ способно получить широкую поддержку. И не только из-за того, что равномерно распределяет ответственность. Этот метод обладает большим миротворческим потенциалом, поскольку позволяет многим человеческим сообществам надеяться на реализацию предпочтительного для них варианта будущего. Представим афганского талиба, дискутирующего с членом Шведской гуманистической ассоциации. Не надо объяснять, насколько разные их мировоззренческие позиции: что для одного — утопия, для другого — антиутопия. Причем ни одного из них может не устроить даже компромиссное решение, например: разрешить девочкам получать образование, но только до девятого класса; или шведским девочкам разрешить получать образование, а афганским — нет. Однако и талиб, и гуманист могут согласиться с тем, что грядущее человечества будет определяться его когерентным экстраполированным волеизъявлением. Талиб может рассуждать следующим образом: если его религиозные взгляды истинны (а в этом он убежден) и если имеются серьезные основания для их приятия (в чем он также убежден), тогда человечество в итоге их признает — только людям надо стать менее предвзятыми, тратить больше сил на изучение священных текстов, уразуметь наконец, как устроен мир, правильно расставлять приоритеты, избавиться от иррациональной воинственности и малодушия, ну и так далее15. Гуманист точно так же решит, что в этих идеальных условиях человечество в конечном счете станет руководствоваться принципами, которые поддерживает он.
«Ответственность за судьбу человечества должна лежать на нем самом»
