Реакция на сингулярность
Реакция людей на возможность сингулярности очень различается. У дружественного ИИ весьма почтенная история в научно-фантастической литературе, поддержанная тремя законами робототехники Азимова. Популярны и сюжеты, в которых ИИ перехитрил и атаковал своих создателей, как в фильмах о Терминаторе. Многие отмахиваются от сингулярности как от «мечты гиков», видя в ней сценарий, который вряд ли реализуется… и уж точно не реализуется в обозримом будущем. Другие думают, что это вполне может случиться и что если у нас не будет детального плана, может погибнуть не только человеческий вид, но и все, что нам дорого. Я состою советником в Институте изучения искусственного интеллекта (http://intelligence.org), и многие его сотрудники рассматривают сингулярность как наиболее серьезную угрозу нашего времени. Некоторые из них думают, что если нельзя гарантировать реализацию варианта с дружественным ИИ по Юдковски и др., то лучше держать ИИ под надежным человеческим контролем или вовсе не улучшать ИИ.
До сих пор мы обсуждали негативные последствия сингулярности. Рэй Курцвейл, напротив, считает сингулярность огромным благом и даже лучшим, что может случиться с человечеством, поскольку она решит все нынешние человеческие проблемы.
Вдохновляет или ужасает вас идея замены человечества более развитой формой жизни? Это, вероятно, сильно зависит от обстоятельств и, в частности, от того, видите ли вы в преемниках своих потомков или поработителей.
Если ребенок оказался умнее своих родителей и, став самостоятельным, достиг того, о чем они и не мечтали, то родители, вероятно, будут счастливы и горды им, даже если знают, что самим им не суждено все это испытать. Родители очень умного человека, устроившего кровавую бойню, чувствуют себя иначе. Мы можем ощущать отношения родитель – ребенок с ИИ, рассматривая его как наследника наших ценностей. Поэтому имеет огромное значение, станет ли будущая высокоразвитая жизнь хранить верность нашим идеалам.
Другой важный фактор – окажется переход постепенным или резким. Я подозреваю, что мало кто обеспокоен перспективами человечества. Люди за тысячелетия своей эволюции стали умнее, лучше приспосабливаются к изменяющейся окружающей среде и, возможно, меняют свой облик. С другой стороны, многие родители будут испытывать двойственные чувства, если узнают, что ребенок, о котором они мечтали, будет стоить им жизни. Если технология не заменит нас внезапно, а будет модернизировать и совершенствовать нас, в итоге сливаясь с нами, то может быть обеспечено и сохранение целей, и постепенность, необходимые нам, чтобы рассматривать постсингулярные формы жизни в качестве потомков. Мобильные телефоны и интернет уже расширили наши возможности по достижению того, чего мы хотим, по-видимому, без существенного искажения наших главных ценностей. Так что адепты сингулярности верят, что то же самое будет и с мозговыми имплантатами, устройствами, управляемыми мыслью, и даже с полной загрузкой человеческого сознания в виртуальную реальность.
Более того, это открывает нам космос, последний рубеж. В конце концов, чрезвычайно развитая жизнь, способная распространиться во Вселенной, вероятно, может появиться лишь в результате двухстадиального процесса: сначала разумные существа развиваются в ходе естественного отбора, а затем решают передать факел жизни дальше, сконструировав более совершенное сознание, способное к дальнейшему самосовершенствованию. Освобожденная от ограничений, накладываемых человеческими телами, развитая жизнь может расцвести и в конце концов заселить большую часть наблюдаемой Вселенной. Эту возможность давно изучают писатели-фантасты, энтузиасты ИИ и мыслители-трансгуманисты.
Так наступит ли сингулярность в ближайшие десятилетия? Является ли она чем-то таким, чему мы должны противодействовать? Я думаю, надо честно сказать, что мы очень далеки от консенсуса по обоим вопросам, но это не значит, что разумно ничего не предпринимать. Сингулярность может стать лучшим или худшим событием, произошедшим с человечеством, так что если есть хотя бы 1 % вероятности, что сингулярность случится при нашей жизни, я думаю, разумно было бы потратить 1 % ВВП на изучение этого вопроса и принятие соответствующих решений. Так почему мы этого не делаем?
Глупость космического масштаба
Научная карьера открыла мне космическую перспективу, при которой остро необходимым кажется управление экзистенциальными угрозами (рис. 13.5). Нам, профессорам, приходится ставить оценки. Предположим, я бы читал начальный курс менеджмента риска и должен был бы поставить оценку за первый семестр человечеству, основываясь на том, как мы до сих пор управлялись с экзистенциальными угрозами. Вы, наверное, требовали бы, чтобы я поставил четыре на том основании, что человечество до сих пор не бросило курс. Но я, со своей космологической перспективы, считаю наши результаты неудовлетворительными и не могу поставить выше двойки: долгосрочный потенциал жизни – буквально астрономический, однако люди не имеют разумного плана касательно даже неотложных экзистенциальных угроз и уделяют разработке таких планов лишь ничтожную долю своего внимания. В сравнении с 20 млн долларов, потраченными в прошлом году Союзом обеспокоенных ученых (одной из крупнейших организаций, занимающихся, по крайней мере, некоторыми экзистенциальными угрозами), только Соединенные Штаты потратили почти в 500 раз больше на косметическую хирургию, почти в 1 тыс. раз больше на кондиционирование воздуха для военных, примерно в 5 тыс. раз больше на сигареты и примерно в 35 тыс. раз больше на военные нужды, не считая военного здравоохранения, содержания отставников и процентов по военным кредитам.
Рис. 13.5. Важность разумного отношения к экзистенциальным угрозам становится более очевидной в космической перспективе, поскольку в ней подчеркивается огромный потенциал, который мы рискуем потерять, если разрушим нашу цивилизацию.
Как мы можем быть такими недальновидными? Ну, допустим, эволюция подготовила нас в основном к технологиям вроде палок и камней и, вероятно, мы не должны удивляться, что обращаемся с современными технологиями так неумело, но мы могли хотя бы не усугублять ситуацию. Вот я сижу в большом ящике из дерева и камня и многократно нажимаю маленькие черные квадратики, глядя на светящийся прямоугольник перед собой. Я не встретил сегодня ни одного живого организма и часами сижу здесь, освещенный сверху люминесцентной спиралью. Я, несмотря на все это, чувствую себя счастливым – вот доказательство того, насколько удивительно адаптивным мозгом наделила нас эволюция. (Как и тот факт, что я научился интерпретировать черные фигурки на светящемся прямоугольнике как слова, рассказывающие мне истории, и то, что я знаю, как вычислить возраст Вселенной, несмотря на то, что ни один из этих навыков не имел никакой ценности для моих пещерных предков.) Но из того, что мы умеем делать многое, не следует, что мы умеем все необходимое. Внешние силы медленно меняли окружающую среду последние 100 тыс. лет, и эволюция помогала нам адаптироваться. Но недавно мы сами изменили нашу среду – слишком поспешно, чтобы эволюция могла за нами успеть. Мы усложнили ее настолько, что и ведущим экспертам трудно до конца понять узкие аспекты. Так что не удивительно, что мы иногда теряем из виду общую картину и отдаем предпочтение краткосрочным удовольствиям, а не выживанию нашего «космического корабля». Например, эта светящаяся спираль над головой питается от сжигания угля, который превращается в углекислый газ, дающий вклад в перегрев нашего корабля, и сейчас, когда я об этом думаю, я вообще-то давно должен был бы ее выключить.
Человеческое общество: научная перспектива
Итак, мы на космическом корабле «Земля», который направляется в астероидный пояс экзистенциальных угроз безо всякого плана и даже без капитана. Ясно, что надо что-нибудь с этим делать, но что должны представлять собой наши цели, как их лучше всего достичь? Вопрос «что» является этическим, а «как» – научным. И оба они имеют критическое значение. Перефразируя Эйнштейна, можно сказать, что наука без этики слепа, а этика без науки хрома. Однако, как подчеркивает мой друг Джефф Эндерс, существуют некоторые этические соображения, с которыми почти все согласны («Лучше, если не будет глобальной ядерной войны») – и при этом не ведется никакой работы по их превращению в практически достижимые цели. Вот почему я поставил двойку за смягчение экзистенциальных угроз. Я думаю, нечестно списывать этот провал на трудности с этикой и вопросом что. Мне кажется, стоит начать с таких проблем, где людьми достигнуто согласие относительно целей, например, с долгосрочного развития цивилизации и применения научного подхода к достижению целей (я использую слово «научный» в широком смысле, подчеркивая участие логики). Мне не кажется достаточным замечание вроде: «Нужно добиться масштабного пересмотра убеждений». Требуются более конкретные стратегии. Как помочь человечеству стать менее близоруким, когда оно прокладывает курс? В общем, как сделать, чтобы разум играл более важную роль в принятии решений?
