Эти и другие особенности повышают вероятность внезапного краха организации, состоящей из искусственных агентов, невзирая даже на, казалось бы, пуленепробиваемые методы социального контроля.
Итак, пока неясно, насколько многообещающим является метод институционального конструирования и будет ли он более эффективным в случае антропоморфных, нежели искусственных, агентов. Может показаться, что создание института с адекватной системой сдержек и противовесов повысит нашу безопасность — или по крайней мере не снизит ее, — поэтому с точки зрения снижения рисков данный метод лучше применять всегда. Но на самом деле даже это нельзя сказать с определенностью. Использование метода повышает сложность системы, создавая тем самым новые возможности для неблагоприятного развития ситуации, которые отсутствуют в случае агентов, не имеющих в качестве составляющих интеллектуальных субагентов. Тем не менее метод институционального конструирования заслуживает дальнейшего изучения39.
Резюме
Инжиниринг системы целей — еще не установленная дисциплина. Пока нет полной ясности в том, как загружать в компьютер человеческие ценности, даже если речь идет о машинном интеллекте человеческого уровня. Изучив множество подходов, мы обнаружили, что некоторые из них, похоже, ведут в тупик, но есть и такие, которые кажутся многообещающими и должны стать предметом дальнейшего анализа. Обобщим изученный материал в табл. 12.
Таблица 12. Обобщение методов загрузки ценностей
Представление в явной форме
Кажется многообещающим в качестве способа загрузки ценностей при использовании метода приручения. Вряд ли полезен в случае более сложных целей
Естественный отбор
Менее перспективный. Полным перебором можно обнаружить схемы, удовлетворяющие формальному критерию поиска, но не соответствующие нашим намерениям. Более того, если варианты схем оценивать путем их реализации — включая те, которые не удовлетворяют даже формальному критерию, — резко повышаются риски. В случае применения метода естественного отбора сложнее избежать преступной безнравственности, особенно если мозг агентов похож на человеческий
Обучение с подкреплением
Для решения задачи обучения с подкреплением могут использоваться различные методы, но обычно это происходит путем создания системы, которая стремится максимизировать сигнал о вознаграждении. По мере развития интеллекта таких систем у них проявляется внутренне присущая им тенденция отказа по типу самостимулирования. Методы обучения с подкреплением не кажутся перспективными
Модель ценностного приращения
Человек получает большую часть информации о своих конкретных целях благодаря обогащенному опыту. И хотя, в принципе, метод ценностного приращения может использоваться для создания агента с человеческой мотивацией, присущие людям особенности приращения целей слишком сложно воспроизводить, если начинаешь работу с зародыша ИИ. Неверная аппроксимация способна привести к тому, что ИИ будет обобщать информацию не так, как люди, вследствие чего приобретет не те конечные цели, которые предполагались. Чтобы определить с достаточной точностью, насколько трудна может оказаться работа по ценностному приращению, требуются дополнительные исследования
Строительные леса для мотивационной системы
Пока рано говорить, насколько трудно будет добиться от системы выработки внутренних представлений высокого уровня, прозрачных для людей (и при этом удержать возможности системы на безопасном уровне), чтобы при помощи таких представлений создать новую систему ценностей. Метод кажется очень перспективным. (Но поскольку в этом случае, как при любом неопробованном методе, большая часть работы по созданию системы безопасности откладывается до момента появления ИИЧУ, нельзя допустить, чтобы это стало оправданием для игнорирования проблемы контроля в течение всего времени, предшествующего этому моменту.)
Обучение ценностям
Потенциально многообещающий подход, но нужно провести дополнительные исследования, чтобы определить, насколько трудно будет формально определить ссылки на важную внешнюю информацию о человеческих ценностях (и насколько трудно при помощи такой ссылки задать критерий правильности для функции полезности). В рамках этого подхода стоят пристального изучения предложения вроде метода «Аве Мария» и конструкции Пола Кристиано
Эмуляторы и цифровые модуляции
Если машинный интеллект создан в результате полной эмуляции головного мозга, скорее всего, будет возможно корректировать его мотивацию при помощи цифрового эквивалента лекарственных препаратов или иных средств. Позволит ли это загрузить цели с достаточной точностью, чтобы обеспечить безопасность даже в случае превращения эмулятора в сверхразум, — вопрос пока открытый. (Повлиять на развитие процесса могут этические ограничения.)
Институциональное конструирование
К организациям, состоящим из эмуляторов, применимы различные сильные методы контроля над возможностями, в том числе социальная интеграция. В принципе, такие методы могут быть использованы и для организаций, члены которых являются системами ИИ. Эмуляторы обладают одним набором свойств, которые облегчают проведение контроля над ними, и другим набором свойств, которые затрудняют проведение контроля над ними по сравнению с ИИ. Институциональное конструирование стоит дальнейшего исследования как потенциально полезная техника метода загрузки ценностей
Когда мы поймем, как решить проблему загрузки ценностей, то немедленно столкнемся со следующей — как решать, какие ценности надо загружать. Иными словами, есть ли у нас сложившееся мнение, что должен был бы желать сверхразум? Это вопрос почти философский, и мы к нему сейчас обратимся.
Глава тринадцатая
Выбор критериев выбора
Предположим, мы можем назначить зародышу ИИ любую конечную ценность. Тогда принятое нами решение — какая это должна быть цель — имеет далекоидущие последствия. Нам придется определить некоторые параметры выбора, связанные с аксиомами теории принятия решений и эпистемологии. Но откуда черпать уверенность, будто мы, люди — существа недалекие, невежественные и ограниченные, — можем принимать правильные решения по этому вопросу? Сможем ли мы сделать выбор, не предопределенный предрассудками и предубеждениями нашего поколения? В этой главе мы рассмотрим, как с помощью косвенной нормативности переложить большую часть умственной работы, связанной с принятием этих решений, на сам сверхразум, но при этом не забывая, что точкой отсчета всегда должны быть фундаментальные ценности человеческой жизни.
Необходимость в косвенной нормативности
Как заставить ИИ делать то, что мы хотим? Что мы хотим, чтобы хотел ИИ? До этого момента мы искали ответ на первый вопрос. Теперь пришло время обратиться ко второму.
Предположим, что мы решили проблемы контроля и теперь способны загрузить в мотивационную систему сверхразума любую ценность и убедить его считать ее своей конечной целью. Какую ценность нам все-таки следует выбрать? Выбор непрост. Если сверхразум обретет решающее стратегическое преимущество, именно его система ценностей начнет определять судьбу всего вселенского пространства.
Поэтому так важно не допускать ошибок при выборе цели. Но реально ли в подобных делах всерьез надеяться на безошибочность принятых решений? Мы можем заблуждаться относительно нравственных ценностей; не понять, что есть благо для нас самих; промахнуться даже в собственных желаниях. Похоже, в поисках конечной цели придется продираться сквозь колючие заросли философских проблем. Если пойти прямым путем, можно наломать дров. Особенно риск неверного выбора велик в том случае, когда имеешь дело с незнакомым контекстом принятия решения. Ведь выбор конечной цели для машинного сверхразума — цели, от которой зависит будущее всего человечества, — видимо, из всех возможных сюжетов для нас это наиболее неведомый.
Скорее всего, у нас мало шансов победить в лобовой атаке, что подтверждается отсутствием среди специалистов полного согласия по проблемам, касающимся человеческих систем ценностей. Ни одна этическая теория не получила признания большинства философов, таким образом, можно считать, что большинство неправо1. Об этом свидетельствует и постоянное изменение этических норм — изменение, связанное с ходом времени, что мы традиционно воспринимаем как свидетельство прогресса. Например, в средневековой Европе считалось вполне респектабельным развлечением наблюдать за пытками и казнями противников власти. В Париже XVI века популярным действом было сжигание кошек2. Всего сто пятьдесят лет назад на американском Юге широко практиковалось рабство, причем при полной поддержке закона и в полном согласии с моральными нормами поведения. Оглядываясь назад, видишь вопиющие нарушения не только в поступках, но и в этических воззрениях людей, живших в прежние времена. Вероятно, с тех пор мы чему-то научились в вопросах этики, хотя вряд ли можно утверждать, что наша мораль поднялась на недосягаемую высоту. Вполне вероятно, что какие-то этические концепции, которыми мы руководствуемся сегодня, имеют серьезные недостатки. При таких обстоятельствах выбирать конечную ценность, основанную на наших нынешних убеждениях, да еще так, чтобы исключить любую возможность дальнейшего развития этической системы, означало бы брать на себя ответственность за будущий риск, ведущий к экзистенциальному разрушению моральных норм.
