Цифровые разумы, будь то искусственный интеллект или загружаемые устройства, нуждаются в вычислениях. Больше вычислений означает более долгую жизнь, более быстрое мышление и потенциально более глубокий и обширный опыт сознания. Больше вычислений также означает больше копий, цифровых детей и всевозможных отпрысков, если они того пожелают.
Кривая отдачи от затрат на инфраструктуру для цифрового разума зависит от того, чего именно вы хотите достичь. За определенной скоростью вычислений предельные затраты на дальнейшее ускорение реализации разума могут резко возрасти или достигнуть жесткого предела. С другой стороны, некоторые алгоритмы хорошо распараллеливаются, а если они инстанцируют что-то ценное, то отдача от вычислений может быть близка к линейной. Конечно, если вы счастливы, просто создавая копии себя, вам не нужно видеть убывающую отдачу даже при очень высоких уровнях затрат.
Социальные проекты
Во-вторых, если мы выйдем за рамки эгоистичных поблажек, то увидим множество дополнительных возможностей преобразовать огромное количество ресурсов в ценные результаты, прежде чем наступит обескураживающая убывающая отдача. Например, вы можете захотеть создать ветеринарную систему для животных, которые болеют или получают травмы в дикой природе. [У людей, которым небезразличны такие амбициозные проекты, могут быть причины продолжать работать долгое время, даже если их производительность и почасовая зарплата взлетят до стратосферных высот, потому что они смогут продолжать увеличивать масштабы своего воздействия. Пока на каждом холме и в каждой долине, в каждом кусте и в каждом кустарнике не появится клиника, население будет оставаться неохваченным.
На самом деле альтруистическая причина для работы в дополнительные часы теоретически может быть тем сильнее, чем выше зарплата человека. Если ваша почасовая ставка составляет тысячу долларов, то за дополнительный час работы может быть профинансировано больше дополнительных палат для диких животных, чем если бы вы получали минимальную зарплату.
Я говорю "теоретически может стать сильнее", потому что по мере роста уровня благосостояния общества возможно, что самые низко висящие или самые сочные плоды на дереве альтруистических возможностей истощатся. Однако дерево большое, и на нем постоянно растут новые плоды: пока вы можете зарабатывать деньги, вы, скорее всего, сможете продолжать делать добро. В этом можно убедиться, если рассматривать альтруистические причины не только для устранения негатива из мира, но и для добавления позитива, например, для появления новых счастливых людей. Вы всегда можете создать больше, и их количество линейно растет с увеличением ресурсов.
Кстати, есть ли у вас вопросы? Не стесняйтесь перебивать в любой момент, если что-то непонятно. -Да, вы там, в проходе, с кнопками?
Студент: Вы хотите сказать, что мы должны иметь как можно больше детей? Разве это не эгоистично?
Бостром: Нет, в данный момент я не высказываю никаких моральных взглядов. Я обсуждаю некоторые возможные мотивы, которые могли бы побудить некоторых людей продолжать долго работать за деньги, даже если они могли бы покрыть все свои обычные потребности, работая всего один или два часа в неделю. Один из таких возможных мотивов - альтруизм: зарабатывать больше, чтобы больше отдавать нуждающимся. Хорошо, но тогда что произойдет, если общество станет настолько богатым и утопичным, что в нем больше не будет нуждающихся? Я указывал на то, что даже в этом случае некоторые люди могут быть мотивированы продолжать зарабатывать, чтобы создать больше людей. Независимо от того, насколько все обеспечены - на самом деле, особенно если все очень богаты - вы, в принципе, можете создать дополнительное счастье, создав дополнительных счастливых людей. Конечно, есть люди, которые считают, что это было бы хорошо, например тотальные утилитаристы, и которые, таким образом, могут оставаться мотивированными. Есть и другие, конечно, у которых нет желания максимизировать какую-либо меру совокупной полезности. Это не курс по этике народонаселения, и нам не нужно беспокоиться о том, какие аргументы или оправдания могут быть для этих различных взглядов. Хотя я могу отметить для протокола, что я не являюсь полным утилитаристом или вообще каким-либо утилитаристом, хотя меня часто принимают за него, возможно, потому, что в некоторых моих работах анализируются последствия таких агрегированных следственных предположений. (На самом деле мои взгляды сложны, неопределенны и плюралистичны, и пока не получили должного развития). Помогает ли это?
Другой студент: А как же глобальное потепление?
Тессиус (шепотом): Некоторые из них особенно легко автоматизировать.
Бостром: Ну, я думаю, мы должны сделать некоторые постулаты, чтобы сфокусировать наши исследования на главном вопросе, который мы будем изучать в этом цикле лекций. Это означает, что мы полностью отбросим ряд практических вопросов, чтобы добраться до философской сути. Если говорить более конкретно, мы проводим мысленный эксперимент, в котором предполагаем, что технологические и политические трудности каким-то образом преодолеваются, чтобы мы могли сосредоточиться на проблеме того, что я называю "глубокой утопией". Я планировал поговорить о технологических граничных условиях завтра, так что, надеюсь, тогда все станет немного яснее.
Так что, как я уже говорил, всегда можно создать больше людей, особенно цифровых. Количество цифровых умов, которые вы можете создать, пропорционально количеству вычислительных ресурсов, которые вы можете задействовать, а это, как мы можем предположить, пропорционально количеству денег, которые вы можете потратить.
Конечно, этот тип масштабируемой альтруистической мотивации предназначен только для моральной элиты. Если вы не заботитесь о том, чтобы в мире появилось больше радостных существ, и у вас нет достаточной универсальной заботы о благополучии и страданиях других разумных существ, которые уже существуют, и у вас нет какого-то другого бесконечно амбициозного неэгоистического проекта, которым вы могли бы увлечься, то вы не сможете пить из этого фонтана и вам придется искать другие способы утолить жажду цели. -Давайте зададим еще один вопрос.
Еще один студент: Что вы имеете в виду под "цифровыми умами"?
Бостром: Разум, реализованный в компьютере. Например, это может быть загрузка человеческого или животного разума или ИИ такой конструкции и сложности, которая делает его моральным пациентом, то есть тем, чье благосостояние или интересы имеют значение сами по себе. Я думаю, что в случае с сознательным цифровым разумом это было бы prima facie аргументом, хотя я не считаю, что сознание необходимо для морального статуса. Для целей данной дискуссии, вероятно, ничего существенного от этого не зависит.
Ладно, давайте продолжим. Нам нужно многое успеть.
Стремление к большему
Я уже упоминал третью причину, по которой мы можем продолжать упорно трудиться даже при очень высоком уровне дохода: а именно, что наши аппетиты могут быть относительными, что делает их коллективно ненасытными.
Предположим, мы хотим, чтобы у нас было больше, чем у других. Мы можем желать этого либо потому, что ценим относительное положение как конечное благо, либо,
