настолько точные модели человека, что им практически не потребуется от нас дополнительных данных, чтобы предсказывать наши мысли и желания. Они не только будут знать нас лучше, чем мы сами, но и будут знать нас настолько хорошо, что мы не сможем сообщить им ничего, что могло бы существенно пополнить их знания.
Мы можем привыкнуть полагаться на рекомендации и оценки ИИ, которые могут оказаться более последовательными и предсказуемыми, чем наши собственные скоропалительные суждения о том, какие решения отвечают нашим наилучшим долгосрочным интересам (или о том, что бы мы сами решили, если бы потратили время и усилия на тщательное обдумывание вариантов в свете всех соответствующих фактов).
Даже обязанность принимать решения о том, чего мы хотим, в конечном итоге может быть снята с наших плеч.
А потом мы просто уходим?
Увидимся завтра!
ПАМЯТКА 5. ПОТЕНЦИАЛЬНЫЕ ПРЕПЯТСТВИЯ ДЛЯ АВТОМАТИЗАЦИИ
Чувство и моральное терпение
Положение
Символика статуса
Солидарность
Религия, обычаи, сентиментальность и особые интересы
Доверие и данные
Невозможные входы
Кельвин: В раздаточном материале 2 сказано: "произвольные сенсорные входы". Но я не думаю, что это верно. Существуют определенные возможные входы, получить которые было бы вычислительно трудно. Например, рассмотрим большой экран, на котором отображается последовательность из тысячи цифр. Каждая такая последовательность соответствует по крайней мере одному возможному визуальному входу. Но даже технологически развитая цивилизация не сможет создать экран, отображающий первую тысячу цифр омега-числа Хайтина или первую тысячу цифр π^π^π^π^π.
Фирафикс: Потому что это потребует больше вычислений, чем можно сделать за время существования Вселенной?
Кельвин: Гораздо больше.
Тессиус: Какая жалость. Я никогда не смогу взглянуть на первую тысячу цифр омега-числа Хайтина.
Кельвин: Могут быть и более морально значимые исходные данные, которые также невозможно вычислить.
Тессиус: Даже если бы мне представили первую тысячу цифр омеги Хайтина, я бы никогда не смог убедиться, что это действительно то, на что я смотрю, верно?
Кельвин: Если бы это было неправильное число, вы могли бы со временем обнаружить, что оно неправильное.
Тессиус: Если только люди, генерировавшие это число, не обладали значительно большей вычислительной мощностью, чем я.
Кельвин: Верно. Но есть и другие последовательности чисел, которые трудно сгенерировать, но легко проверить. Например, факторизация некоторых 1000-значных составных чисел. Мы можем построить пример на эту тему, где визуальным входом будет полное число, а затем его факторизация.
Фирафикс: Джентльмены, позвольте вмешаться - Кельвин, вам, должно быть, тепло в этой куртке?
Я бы не отказался переодеться во что-нибудь более удобное.
Фирафикс: План такой. Мы с Кельвином вчера нашли холм с хорошей травой и собирались пойти туда сегодня днем и почитать. Почему бы нам не пойти туда всем вместе, чтобы продолжить разговор, а по пути заглянуть к Кельвину.
Хороший план.
Тессий: Мы можем критиковать как до, так и после ужина. Мне интересно, как, на более фундаментальном уровне, мы должны думать о природе сенсорных входов в этом контексте. Я имею в виду, что когда вы вспоминаете что-то из долговременной памяти, не можем ли мы рассматривать это в некотором смысле как своего рода "внутренний перцептивный вход"? За исключением того, что ваш орган чувств в этом случае смотрит не наружу на окружающую визуальную среду, а внутрь, на внутреннюю среду нейронов. Но если в одном случае вы ищете что-то в блокноте с помощью глаз, а в другом - в банке долговременной памяти, так ли уж это отличается на глубинном уровне? Я имею в виду, особенно если операция происходит вне сознания? Итак, если тезис о расширенном сознании говорит, что некоторые экстракраниальные элементы мира следует рассматривать как части нашего разума, то, возможно, с аксиологической точки зрения нам следует пойти в другом направлении и сказать, что многие части нашего разума на самом деле не являются частью "нас"? И тогда вопрос заключается в том, насколько велика и сложна та часть, которая является нами?
Фирафикс: Могу я предложить начать движение?
Федор Лис
Послание XIII
Дорогой дядя Пастернак,
Молюсь, чтобы это письмо застало вас в добром здравии и хорошем расположении духа. Это будет краткая информация. Я надеюсь, что вскоре снова напишу вам более подробно.
Последние дни были одними из самых напряженных в моей жизни. Мы в полной мере использовали все преимущества урожайного сезона, который, будучи обработанным с прошлого года почти идеальным сочетанием солнечного света, дождя и температуры, сейчас превратился в настоящий шедевр. Я точно никогда не видел ничего подобного; интересно, а вы видели?
Мы копим запасы, надеемся, что они не только помогут нам пережить зиму, но и позволят финансировать некоторые дополнительные расходы, которые мы ожидаем понести в связи с нашей исследовательской деятельностью. Признаюсь вам, я чувствую, что в этом отношении Пигнолиус, в остальном такой прекрасный компаньон и любезный хозяин, не полностью раскрывает свой потенциал. Несмотря на свои большие размеры, он пополняет запасы меньше, чем я, - в основном из-за своей склонности поглощать все, что найдет. У него есть поговорка: "Лучшая кладовая - это толстый живот". Да, но как вы собираетесь платить людям со своим толстым брюхом? Например, ворона, которую мы послали за информацией к Рису Проныре, - ей заплатили рябиной, которую я собрал. Кстати, я думаю, что мы оказались в выигрыше, поскольку ягоды были довольно кислыми (возможно, именно поэтому Пигнолиус их не ел).
Фарфор, в свою очередь, тоже не внес особого вклада - хотя и с большим оправданием, ведь она только что родила двойняшек.
Но это мелочи, главное - новости, с которыми вернулся ворон. Оказывается, гипотеза о конечном происхождении имеет значительную поддержку. Более того, временные рамки, хотя и очень длинные, не настолько огромны, чтобы полностью разрушить все надежды. Не могу передать, как это меня радует. Само существование надежды - это эликсир, и его сила, похоже, почти не зависит от вероятности успешного результата, которая, как я понимаю, в данном случае остается низкой. Но не нулевой, и это все, что мне нужно знать. Между ничем и чем-то есть огромная разница. Даже если это что-то нельзя увидеть или почувствовать, даже если оно далеко и неуловимо, к нему можно стремиться. А стремление к цели дает мне ощущение смысла.
Как всегда, ваш глубокоуважаемый племянник,
Федор
Послание XIV
Дорогой дядя Пастернак,
Вчера выпал первый снег - наверное, у вас тоже?
Для нас это означает, что период материального накопления завершен. Теперь мы переключаем наши усилия с физического на интеллектуальное. Надеюсь, у нас достаточно запасов, чтобы пережить зиму, и мы намерены провести как можно
