Если сверхразум появится раньше других потенциально опасных технологий, скажем, нанотехнологий, то он будет в силах снизить экзистенциальный риск, связанный с нанотехнологиями, но нанотехнологии снизить риск, связанный с появлением сверхразума, не могут4. Следовательно, создав вначале сверхразум, мы будем иметь дело лишь с одним видом экзистенциального риска, а создав вначале нанотехнологии, получим как риск нанотехнологий, так и риск сверхразума5. То есть даже если экзистенциальный риск сверхразума высок и даже если это самая рискованная из всех технологий, все равно имеет смысл торопить его создание.
Однако эти аргументы в пользу «чем быстрее, тем лучше» основаны на предположении, что риски, связанные со сверхразумом, одинаковы независимо от того, когда он будет создан. Если все-таки они снижаются с течением времени, возможно, лучше было бы замедлить революцию машинного интеллекта. Даже притом что более позднее появление сверхразума оставит больше времени для других экзистенциальных катастроф, может быть, предпочтительнее подождать с его созданием? Особенно это верно в том случае, если экзистенциальные риски, связанные со сверхразумом, намного выше, чем риски других потенциально опасных технологий.
Есть несколько причин полагать, что опасность, заложенная во взрывном развитии интеллекта, будет резко снижаться в ближайшие десятилетия. Одна из них заключается в том, что чем позже произойдет взрыв, тем больше времени будет на решение проблемы контроля. Это осознали лишь недавно, и большинство лучших идей по решению проблемы появились за последнее десятилетие (причем некоторые из них — уже за время написания этой книги). Есть основания полагать, что ситуация будет прогрессировать, и хотя проблема оказалась очень сложной, в течение века развитие может оказаться значительным. Чем позже появится сверхразум, тем большего прогресса удастся добиться. Это сильный аргумент в пользу более позднего появления сверхразума — и очень сильный аргумент против его слишком раннего появления.
Есть еще одна причина, почему отсрочка в появлении сверхразума может сделать его безопаснее. Она даст возможность развиться различным позитивным тенденциям, способным повлиять на его действия. Насколько большое значение вы присвоите этой причине, зависит от оптимистичности вашего взгляда на человеческую цивилизацию.
Оптимист, конечно, укажет на множество обнадеживающих признаков и повсеместно возникающих возможностей. Люди могут научиться лучше ладить друг с другом, что приведет к снижению уровня насилия, количества войн и жестокости; может вырасти степень глобальной координации и политической интеграции, что позволит избежать нежелательной гонки вооружений в области технологий (подробнее об этом ниже) и прийти к согласию относительно широкого распространения потенциальных благ от взрывного развития интеллекта. Похоже, именно в этом направлении складываются долгосрочные исторические тенденции6.
Кроме того, оптимист может ожидать, что в нашем столетии возрастет здравомыслие человечества: станет меньше предубеждений (в среднем); продолжат накапливаться знания о мире; людям станет привычнее размышлять об абстрактных будущих вероятностях и глобальных рисках. Если повезет, мы станем свидетелями общего роста эпистемологических стандартов как в индивидуальном, так и в коллективном сознании. Тенденции такого масштаба обычно заметны. Научный прогресс приведет к тому, что мы будем знать намного больше. Благодаря экономическому росту все большая доля человечества будет получать достаточное питание (особенно в возрасте, критическом с точки зрения развития мозга) и доступ к качественному образованию. Успехи в информационных технологиях упростят поиск, обобщение, оценку и распространение данных и идей. Более того, к концу столетия на счету человечества будут дополнительные сто лет ошибок — и на них можно будет учиться.
Многие потенциальные плоды прогресса являются амбивалентными в уже упомянутом нами смысле: они увеличивают одни экзистенциальные риски и снижают другие. Например, благодаря успехам в развитии технологий слежения, глубинной обработки данных, детекции лжи, биометрии, психологических или нейрохимических средств манипулирования мнениями и желаниями можно снизить экзистенциальные риски за счет большей международной координации усилий по борьбе с терроризмом и преступностью. Однако те же самые успехи могут увеличить некоторые экзистенциальные риски в результате усиления негативных социальных процессов или формирования стабильных тоталитарных режимов.
Важным рубежом является улучшение биологического механизма познания, например за счет генетического отбора. Обсуждая это в главах второй и третьей, мы пришли к выводу, что наиболее радикальные системы сверхразума, скорее всего, возникнут в форме машинного интеллекта. Это заявление согласуется с тем, что биологическое улучшение интеллектуальных способностей сыграет важную роль в подготовке к созданию и собственно создании искусственного сверхразума. Такое когнитивное совершенствование может показаться очевидным способом снизить риски — чем умнее люди, работающие над проблемой контроля, тем больше вероятность, что ее решение будет найдено. Однако когнитивное совершенствование также ускоряет процесс создания машинного интеллекта, тем самым сокращая время, которое у нас есть для поиска этого решения. Когнитивное совершенствование может иметь и другие следствия, имеющие отношение к интересующему нас вопросу. Они заслуживают более пристального рассмотрения. (Большинство следующих мыслей относительно когнитивного улучшения равно применимы и к небиологическим средствам повышения нашей индивидуальной или коллективной эпистемологической эффективности.)
Скорость изменений и когнитивное совершенствование
Повышение среднего уровня и верхнего предела человеческих интеллектуальных способностей, скорее всего, приведет к ускорению технологического прогресса, в том числе в области создания различных форм машинного интеллекта, решения проблемы контроля и достижения множества других технических и экономических целей. Каким будет чистый эффект такого ускорения?
Давайте рассмотрим ограниченный случай «универсального ускорителя» — воображаемого вмешательства, с помощью которого можно ускорить буквально все. Действие такого универсального ускорителя скажется больше на произвольном изменении масштаба временной шкалы и не приведет к качественным изменениям наблюдаемых результатов7.
Если мы хотим наполнить смыслом идею ускорения различных процессов благодаря когнитивному совершенствованию, нам, очевидно, нужна какая-то иная концепция, нежели универсальный ускоритель. Более перспективно было бы сконцентрировать внимание на вопросе, как когнитивное улучшение способно повысить скорость изменения одних процессов относительно скорости изменения других. Такое различие способно повлиять на динамику всей системы. Итак, рассмотрим следующую концепцию.
Ускоритель макроструктурного развития
Рычаг, который повышает скорость развития макроструктурных свойств человеческого существования, при этом оставляя неизменной динамику на микроуровне.
Представьте, что вы потянули этот рычаг в направлении торможения. Тормозные колодки прижимаются к огромному колесу человеческой истории, летят искры, раздается металлический скрежет. После замедления колеса мы получаем мир, в котором технологические инновации происходят медленнее, а фундаментальные или имеющие глобальное значение изменения в политической структуре и культуре случаются реже и не столь резко, как прежде. Чтобы одна эпоха пришла на смену другой, должны смениться многие поколения. На протяжении своей жизни люди становятся свидетелями совсем незначительных изменений в базовой структуре человеческого существования.
Большинство представителей нашего вида были свидетелями гораздо более медленного макроструктурного развития, чем сейчас. Пятьдесят тысяч лет назад могло пройти целое тысячелетие без единого значительного технологического прорыва, без заметного увеличения объема человеческих знаний и понимания мира, без значимых глобальных политических изменений. Однако на микроуровне калейдоскоп человеческой жизни мелькал с довольно высокой скоростью — рождения, смерти и прочие события в жизни человека. В эпоху плейстоцена день среднего человека мог быть насыщен событиями больше, чем сейчас.
Если в ваших руках оказался бы волшебный рычаг, позволяющий менять скорость макроструктурного развития, что бы вы сделали? Ускорили бы его, затормозили или оставили как есть?
Объективная точка зрения предполагает, что для ответа на этот вопрос потребуется оценить изменение уровня экзистенциального риска. Но вначале давайте определимся с различием между двумя его типами: статическим и динамическим. Статический риск ассоциируется с пребыванием в определенном состоянии, и общий размер статического риска системы есть прямая функция того, насколько долго система остается в этом состоянии. Все природные риски, как правило, статические: чем дольше мы живем, тем выше вероятность гибели в результате попадания астероида, извержения супервулкана, вспышки гамма-излучения, начала эпидемии или какого-то другого взмаха космической смертоносной косы. Некоторые антропогенные риски тоже статические. На индивидуальном уровне чем дольше солдат выглядывает из-за бруствера, тем выше кумулятивная вероятность погибнуть от пули снайпера. Статические риски есть и на экзистенциальном уровне: чем дольше мы живем в глобально анархической системе, тем выше кумулятивная вероятность термоядерного Армагеддона или мировой войны с применением неядерного оружия массового поражения — и то и другое способно уничтожить цивилизацию.
