поведение машины будет опираться на «принципы, приемлемые для нас». Но еще Винер предупреждал, что мы должны научиться ставить правильные цели. Можно назвать эту задачу проблемой царя Мидаса: ведь тот получил ровно то, о чем просил, а именно превращение всего, к чему он прикасался, в золото, но слишком поздно для себя выяснил, что не так-то просто утолять жажду жидким золотом или насыщаться твердым золотом. Если воспользоваться техническим термином, постановка правильных целей – это юстировка ценностей. Когда данная процедура не срабатывает, мы непреднамеренно можем задать машинам цели, противоречащие нашим собственным. Например, решая задачу скорейшего поиска лекарства от рака, система искусственного интеллекта может счесть, что разумно использовать весь человеческий род в качестве подопытных морских свинок для своих экспериментов. В ответ на просьбу снизить кислотность Мирового океана она может ликвидировать весь кислород в атмосфере в качестве побочного эффекта. Такова общая характеристика систем, которые оптимизируют свою работу: переменные, не относящиеся к достижению цели, могут доводиться до предельных значений ради оптимизации способов достижения цели.
К сожалению, ни разработка ИИ, ни научные дисциплины (экономика, статистика, теория управления, изучение операций), предусматривающие оптимизацию целей, не способны внятно излагать методики выявления целей, «к которым мы на самом деле стремимся». Вместо этого они исходят из допущения, что цели просто «имплантируются» в машину. Исследования в области ИИ в их нынешнем виде направлены на изучение способности к достижению целей, а не на постановку этих целей.
Стив Омохундро указал на другое затруднение, отметив, что разумные существа должны действовать, чтобы обеспечивать свое существование. Это обстоятельство никак не связано с инстинктом самосохранения или любым другим биологическим понятием; все дело в том, что живое существо не способно достигать целей, если оно мертво. Согласно аргументам Омохундро, сверхразумная машина с выключателем – некоторые, включая самого Алана Тьюринга, если вспомнить его выступление на «Радио Би-би-си» в 1951 году, считают, что здесь таится наше потенциальное спасение, – предпримет какие-то меры для того, чтобы так или иначе деактивировать этот выключатель [30]. Следовательно, перед нами встает перспектива появления сверхразумных машин, причем их действия, по определению, будут непредсказуемыми для нас, их нечетко определенные цели будут противоречить нашим собственным, а их мотивация к продлению своего существования ради достижения этих целей может оказаться важнее всякой другой.
1001 причина не обращать внимания
Разумеется, на эти аргументы выдвигаются возражения, прежде всего со стороны исследователей в области ИИ. Данные возражения суть естественная защитная реакция, возможно отягощенная недостатком воображения – в частности, относительно способностей сверхразумных машин. Но при ближайшем рассмотрении эти возражения не выдерживают критики. Давайте рассмотрим те, которые звучат чаще всего.
1. Не беспокойтесь, в случае чего мы просто выключим машину [31]. Нередко эта мысль первой приходит на ум непрофессионалу при анализе рисков создания сверхразумного ИИ. Но он как будто не предполагает, что сверхразум этого не понимает. С тем же успехом можно утверждать, что шанс проиграть DeepBlue или AlphaGo ничтожен, если человек будет делать только правильные ходы.
2. Человеческий или сверхчеловеческий уровень для ИИ недостижим [32]. Это необычное заявление для разработчиков и исследователей ИИ, учитывая тот факт, что со времен Тьюринга они отбиваются от аналогичных претензий со стороны философов и математиков. Данное утверждение, не подкрепленное, по-видимому, никакими доказательствами, как бы признаёт, что, если сверхинтеллект вообще возможен, он будет представлять собой немалый риск для человечества. Как если бы водитель автобуса, куда вместилось все человечество, сказал: «Да, я еду к обрыву! Мало того, я давлю педаль газа до упора! Но не сомневайтесь, бензин кончится раньше, чем мы окажемся на краю!» Это заявление выглядит безрассудной ставкой против человеческой изобретательности. Мы делали такие ставки раньше – и проигрывали. 11 сентября 1933 года знаменитый физик Эрнест Резерфорд с полной уверенностью изрек: «Любой, кто ожидает получить источник энергии из превращения этих атомов, несет чепуху». 12 сентября 1933 года Лео Силард открыл ядерную цепную реакцию под действием нейтронов. Несколько лет спустя он продемонстрировал такую реакцию в своей лаборатории в Колумбийском университете. Как он вспоминал позднее: «Мы выключили все приборы и пошли домой. Той ночью я практически уверился в том, что мир обречен на гибель».
3. Еще слишком рано беспокоиться. Когда именно начинать беспокоиться о потенциально серьезных проблемах человечества – это зависит не только от момента возникновения проблем, но и от сроков разработки и реализации решений, позволяющих с ними справиться. Например, обнаружив сегодня большой астероид, который, по расчетам, должен столкнуться с Землей в 2067 году, скажем ли мы, что беспокоиться рано? А если рассматривать глобальные катастрофические риски, которыми чревато изменение климата (как ожидается, все случится уже в текущем столетии), неужели рано принимать меры по их предотвращению? Наоборот, может быть уже поздно. Релевантные временны́е рамки для искусственного интеллекта человеческого уровня менее предсказуемы, но, как и в случае ядерной реакции, подходящие условия могут сложиться значительно раньше, чем ожидалось. Одним из вариантов данного возражения является заявление Эндрю Энга [33] – мол, «с тем же успехом можно беспокоиться насчет перенаселенности Марса». Что ж, перед нами обращение к вроде бы очевидной аналогии: риск видится управляемым и относится к далекому будущему, а также крайне маловероятно, что мы вообще попытаемся переселить миллиарды людей на Марс. Но аналогия вводит в заблуждение. Уже выделяются колоссальные научные и технические ресурсы на разработку все более передовых систем ИИ. Более подходящей аналогией стал бы план по переселению человечества на Марс без единой мысли о том, как мы там будем дышать, что есть и пить по прибытии.
4. В любом случае человекоподобный искусственный интеллект не обязательно возникнет. К примеру, авторы доклада «AI-100» заверяют нас: «Вопреки чрезмерно фантастическим прогнозам по поводу ИИ в популярной прессе, исследовательская группа не нашла поводов для беспокойства относительно того, что ИИ является непосредственной угрозой человечеству». Это утверждение просто-напросто маскирует причины опасений, ведь нас тревожит отнюдь не неизбежность угрозы. В своей книге «Искусственный интеллект. Этапы. Угрозы. Стратегии» [34] Ник Бостром пишет: «В этой книге вовсе не утверждается, что мы стоим на пороге большого прорыва в области искусственного интеллекта или что мы можем предсказать с любой степенью точности, когда подобное может произойти».
5. Да вы просто луддиты. Довольно странное определение луддитов, включающее в себя Тьюринга, Винера, Минского, Маска и Гейтса, то есть тех людей, которые непосредственно причастны к техническому прогрессу XX и XXI столетий [35]. Кроме того, эпитет «луддит» отражает полное непонимание природы нашей озабоченности и причин ее возникновения. Точно так же можно обвинять в луддизме инженеров-ядерщиков, когда те
