В общем случае представляется желательным более активное сотрудничество в постпереходный период. Оно снизит риск возникновения антиутопии, в которой в результате экономической конкуренции и быстрого роста населения возникают мальтузианские условия, или в которой эволюционный отбор приводит к эрозии человеческих ценностей и отсеву жизнелюбивых характеров, или в которой противоборствующие силы сталкиваются с другими последствиями своей неспособности к координации усилий — последствиями вроде войн и технологической гонки вооружений. Последнее — перспектива острой технологической конкуренции — может оказаться особенно опасным в случае перехода к промежуточной форме машинного интеллекта (имитационная модель мозга), поскольку это создаст ощущение гонки и снизит шансы решения проблемы контроля к моменту начала второго перехода к более развитой форме машинного интеллекта (искусственный интеллект).
Мы уже обсудили, каким образом в результате сотрудничества на этапе подготовки к взрывному развитию интеллекта может уменьшиться острота конфликтов, повыситься вероятность решения проблемы контроля и сложиться более оптимальное распределение ресурсов в постпереходную эпоху — как с этической, так и с практической точек зрения.
Совместная работа
Сотрудничество может принимать различные формы в зависимости от количества участников. В нижней части шкалы объединять свои усилия могут отдельные группы конкурирующих друг с другом разработчиков ИИ45. Корпорации могут сливаться или инвестировать друг в друга. На верхнем уровне возможно создание крупного международного проекта с участием нескольких стран. Уже известны прецеденты масштабного международного научно-технологического сотрудничества (Европейская организация по ядерным исследованиям; проект «Геном человека», Международная космическая станция), но с международным проектом создания безопасного сверхразума связаны трудности более высокого порядка из-за необходимости соблюдать строгие меры предосторожности. Он может быть организован не в форме открытого научного сотрудничества, а в форме чрезвычайно жестко контролируемого предприятия. Возможно даже, что участвующих в нем ученых придется физически изолировать в течение всего срока реализации проекта, лишив их всех возможностей связываться с внешним миром за исключением единственного тщательно цензурируемого канала. В настоящее время требуемый уровень безопасности вряд ли достижим, но позднее, в результате развития технологий детекции лжи и систем наблюдения, ситуация может измениться. Тесное сотрудничество не обязательно означает, что в проекте принимают участие множество известных ученых. Скорее, это примет другую форму — крупные ученые будут иметь право голоса при определении целей проекта. В принципе, проект мог бы обеспечить максимально широкое сотрудничество, если в качестве его организатора выступит все человечество (представленное, например, Генеральной Ассамблеей Объединенных Наций) и при этом в качестве исполнителя привлекут единственного ученого46.
Существует причина, по которой начать сотрудничество нужно как можно раньше: это дает возможность воспользоваться преимуществом «вуали неведения», которая пока скрывает от нас то, какой из проектов первым выйдет на уровень разработки сверхразума. С одной стороны, чем ближе мы подойдем к финишной черте, тем меньше неопределенности останется относительно шансов конкурирующих проектов; соответственно, тем сложнее будет объединить усилия, преодолев эгоистический интерес разработчиков лидирующих проектов и обеспечив возможность распределения благ между всеми жителями планеты. С другой стороны, будет сложно формально договориться о сотрудничестве в масштабах всей планеты до тех пор, пока перспективы появления сверхразума не станут более очевидны всем и пока не проявятся контуры пути, по которому можно двигаться в сторону его создания. Более того, учитывая, что сотрудничество способно привести к более быстрому прогрессу на этом пути, сейчас стремиться к нему может быть даже неконструктивно с точки зрения безопасности.
Следовательно, в наши дни идеальной формой сотрудничества могла бы быть такая, которая не подразумевает конкретных формальных договоренностей и не ускоряет движение в сторону создания машинного интеллекта. Этим критериям удовлетворяет, в частности, предложение сформулировать некий этический принцип, выражающий нашу приверженность идее, что сверхразум должен служить на благо всем.
Принцип общего блага
Сверхразум должен быть создан исключительно на благо всего человечества и отвечать общепринятым этическим идеалам47.
Чем раньше мы сформулируем принцип, что весь безмерный потенциал сверхразума принадлежит всему человечеству, тем больше у нас будет времени, чтобы эта норма прочно утвердилась в умах людей.
Принцип общего блага не исключает коммерческих интересов отдельного человека и компаний, действующих в соответствующих областях. Например, соответствовать этому принципу можно было бы, согласившись, что все «свалившиеся с неба» доходы от создания сверхразума — доходы немыслимо высокого уровня (скажем, триллион долларов в год) — распределяются между акционерами и прочими заинтересованными лицами так, как это принято сегодня, а те, что превышают этот порог, — равномерно между всеми жителями планеты (или как-то иначе, но в любом случае в соответствии с неким универсальным этическим критерием). Принять решение о доходах, «свалившихся с неба», не стоит компании практически ничего, поскольку превысить эту астрономическую сумму в наши дни практически невозможно (такие маловероятные сценарии не принимаются во внимание в процессе принятия решений современными управляющими и инвесторами). При этом широкое распространение такого рода обязательств (при условии, что им можно доверять) дало бы человечеству гарантию, что если какая-то частная компания получит джекпот в результате взрывного развития интеллекта, все смогут участвовать в распределении свалившихся благ. Ту же идею можно применить не только к фирмам. Например, государства могут договориться о том, что если ВВП какого-то из них превысит некоторую довольно большую долю мирового ВВП (например, 90 процентов), превышение будет распределено равномерно между всеми жителями планеты48.
Поначалу принцип общего блага (и его практические следствия вроде обязательства распределять сверхдоходы) мог бы применяться избирательно, путем добровольного согласия поступать в соответствии с ним, данного ответственными специалистами и организациями, которые работают в области машинного интеллекта. Позднее к нему присоединились бы другие, и со временем он превратился бы в закон или международное соглашение. Приведенная выше не очень строгая формулировка вполне подойдет для начала, но в конечном счете должна быть заменена набором конкретных требований, поддающихся проверке.
Глава пятнадцатая
Цейтнот
Мы заблудились в непроходимой чаще стратегической сложности, которую окутывает плотный туман неопределенности. Хотя многие элементы окружающего нас пейзажа разглядеть удалось, но отдельные детали и взаимосвязи остаются загадкой. Кроме того, могут быть другие факторы, о которых мы пока даже не задумываемся. Что нам остается в такой ситуации?
Крайний срок философии
Мои коллеги часто шутят, что вручение Филдсовской премии (высшей награды в области математики) может означать две вещи: или награжденный смог сделать что-то важное, или нет. Не очень приятно, но доля правды в этом есть.
Определим «открытие» как действие, в результате которого некая информация становится известна раньше, чем могла бы появиться. Тогда ценность открытия не равняется значимости заложенной в нем информации, а скорее приобретает значение, потому что информация попадает в наше распоряжение сейчас, а не позже. Чтобы первому найти решение проблемы, которое ускользнуло от многих других, ученому требуется приложить много сил и способностей; но если проблема в любом случае должна была в ближайшее время быть решена, мир получил не так много пользы от его работы. Конечно, есть случаи, когда даже чуть более раннее решение проблемы несет в себе огромную ценность, но чаще всего это возможно лишь в тех случаях, когда такое решение можно немедленно использовать: или применить на практике, или положить в основу другой теоретической работы. Причем в последнем случае, когда решение сразу используется в качестве строительного материала для дальнейших теоретических поисков, то сам факт, что оно получено чуть раньше, будет значим лишь тогда, когда новая работа сама по себе и важная, и срочная1.
То есть вопрос не в том, является ли результат, полученный математиком, награжденным Филдсовской премией, «важным» (или сам по себе, или с инструментальной точки зрения). Скорее, значение имеет то, насколько важно появление этого результата сейчас, а не позже. И ценность этого перемещения во времени следует сравнивать со значимостью иного результата, который мог бы получить этот математик мирового уровня, работая над другой проблемой. Как минимум в некоторых случаях Филдсовская премия становилась свидетельством того, что жизнь была потрачена на решение неправильно выбранных задач, например тех, привлекательность которых вызвана главным образом тем, что они представляли собой трудноразрешимые проблемы.
