420
Например, в книге “Просвещение продолжается” (2018, pp. 299–300; перевод Г. Бородиной и С. Кузнецовой) Стивен Пинкер говорит, что сценарии риска, сопряженного с ИИ, “основаны на двух гипотезах… (2) этот ИИ будет так гениален, что сможет придумать, как преобразовывать химические элементы и перепрошивать мозги, но так придурковат, что погрузит мир в хаос из за элементарной оплошности или недопонимания”.
421
Обратите также внимание, что агент может замечать вероятное несоответствие между своими и нашими ценностями (что вызовет враждебность к человечеству), даже если наши ценности ему не совсем понятны. В этом случае, даже если он был запрограммирован таким образом, чтобы заменять свои ценности на наши, вполне возможно возникновение несоответствия, пусть и менее опасного.
Есть несколько перспективных направлений исследований проблемы контроля, связанных с предоставлением агентам возможности обновлять свои функции вознаграждения таким образом, чтобы они лучше соответствовали нашим. Одно из них – широкий набор идей о “возможности внесения поправок”, то есть о создании агентов, которые не противятся изменению их целей. Другое – основанный на неопределенности подход к обучению с вознаграждением, в рамках которого агент действует не так, словно уверен в своей трактовке человеческих ценностей, а так, словно пребывает в состоянии моральной неопределенности, а степень его уверенности в различных человеческих ценностях зависит от данных, полученных к настоящему моменту (Russell, 2019). Это подталкивает агента считаться с людьми (которые лучше понимают собственные ценности) и просить совета при необходимости. Поскольку я сам занимаюсь философскими вопросами, связанными с моральной неопределенностью, я нахожу этот подход особенно перспективным (MacAskill & Ord, 2018; MacAskill, Bykvist & Ord, готовится к публикации). Чтобы все сделать правильно, потребуется и дальше изучать этот раздел философии.
422
Скорее всего, люди и правда некоторое время будут эффективнее справляться с выполнением стандартных физических задач при меньших издержках, и потому создание роботов будет стоять на втором месте.
423
Даже если очистить 99 % дисков, все равно сохранятся десятки копий, которые готовы будут размножиться на новых производимых компьютерах.
424
Известно о нескольких случаях, когда преступники захватывали более миллиона компьютеров. Самый известный ботнет – Bredolab, куда входило более 30 млн компьютеров. Он был создан хакерской группой, которая зарабатывала на том, чтобы предоставлять взломанные компьютеры в аренду другим преступным организациям. На пике ботнет рассылал более 3 млрд зараженных электронных писем в день.
425
Интересно оценить, какую власть они сосредоточили в своих руках. В 1942 году страны “оси” (за исключением Японии) контролировали около 1,3 трлн долларов ВВП (в долларах 1990 года) (Harrison, 1998), что соответствовало примерно 30 % мирового ВВП (Maddison, 2010).
СССР занимал территорию площадью 22,4 млн квадратных километров, то есть 16 % суши на планете. Население Монгольской империи в период ее расцвета, когда у власти пребывал внук Чингисхана Хубилай, составляло 100 млн человек (Lee, 2009), что соответствовало примерно 25 % населения Земли (Roser et al., 2019).
Учитывая, в какой степени эти страны были ориентированы на войну, вероятно, на их долю приходилось даже больше военной мощи, чем показывают эти цифры, но дать объективную оценку этому сложнее.
426
Хороший исход мог бы наступить, например, если бы ИИ-система сама по себе стала достойной преемницей человечества, а создаваемое ею прекрасное будущее было бы именно таким, как надеялось человечество. Порой это называют причиной не беспокоиться о рисках неконтролируемого ИИ.
Хотя я считаю, что в этой идее что то есть, это вовсе не панацея. Как только мы всерьез воспримем идею, что в лучшем будущем, возможно, нам найдется замена, окажется, что не все такие замены одинаково хороши. И наделение какой либо группы программистов правом в одностороннем порядке запускать такую массовую замену человечества будет означать необходимость пройти через страшный процесс принятия решения, как передать эстафету. Более того, если мы полагаем, что ИИ-система сама может быть носителем моральных ценностей, возникает серьезная вероятность того, что такая система допустит возникновение мира с отрицательной ценностью или иным образом породит его, особенно если она будет разработана человечеством в период, когда нам столь мало известно о природе сознательного опыта.
427
Metz (2018).
428
Стюарт Рассел (2015): “Как пояснили Стив Омохундро, Ник Бустрём и другие ученые, в комбинации с растущими способностями систем принятия решений несовпадение ценностей может привести к проблемам – возможно, даже к таким проблемам, которые вызовут гибель вида, если машины окажутся способнее людей. Кое-кто утверждает, что в грядущие столетия риск для человечества немыслим, но эти люди, вероятно, забывают, что с момента, когда Резерфорд уверенно заявил о невозможности извлечения атомной энергии, до изобретения Силардом индуцированной нейронами ядерной цепной реакции прошло менее суток”.
Центр совместимого с человеком ИИ, основанный Расселом, стал одной из ведущих исследовательских организаций, где изучаются вопросы контроля ИИ. Книга Рассела “Совместимость” (2019) – революционное и прекрасно написанное введение в проблему создания безопасного общего искусственного интеллекта.
429
Шейн Легг, один из основателей и старший исследователь компании DeepMind, руководит в ней исследованиями безопасности ИИ. Когда в ходе интервью его спросили, какова вероятность вымирания человечества в течение года после разработки ОИИ, он сказал (Legg & Kruel, 2011): “Не знаю. Может, 5 %, может, 50 %. Вряд ли кто то в состоянии дать надежную оценку… На мой взгляд, это главный риск текущего столетия, а на втором месте с небольшим отрывом стоит появление искусственно созданного биологического патогена (хотя об этом я мало что знаю)”.
430
Алан Тьюринг (1951), один из изобретателей компьютера, стоявший у истоков исследования искусственного интеллекта: «…кажется вероятным, что машинное мышление, появившись, быстро превзойдет наши скромные способности. Вопроса о смерти машин даже не встанет, поскольку они смогут общаться друг с другом, чтобы оттачивать свой ум. Следовательно, на каком то этапе нам стоит ожидать, что машины захватят контроль, примерно как в романе Сэмюела Батлера “Едгин”».
Этот роман Сэмюела Батлера (1872) был написан на основе его эссе “Дарвин среди машин” (Butler, 1863), в котором, пожалуй, впервые рассматривается экзистенциальный риск, связанный с разумными машинами.
Опасениям Тьюринга вторил и его коллега-криптограф, видный статистик и пионер компьютерных наук И. Дж. Гуд (1959): “Как только будет создана достаточно хорошая машина… ее можно будет применить для создания еще более совершенной машины. На этом этапе явно случится «взрыв», все задачи науки и технологии будут переданы машинам, а людям больше не придется работать. Это может привести либо к утопии, либо к уничтожению рода человеческого в зависимости от того, как машины будут подходить к проблеме. Важно задать им цель служить людям”.
Пионер ИИ Норберт Винер рассматривал вопрос о том, как людям удержать контроль над продвинутыми ИИ-системами (Wiener, 1960): “Хотя теоретически машины подвергаются критике со стороны человека, эффект такой критики может сказаться лишь спустя значительное время после того, как потеряет свою актуальность. Чтобы эффективно предотвращать катастрофические последствия, наши знания о рукотворных машинах должны в целом расти параллельно повышению производительности машин. Из-за собственной нерасторопности мы можем упустить контроль над своими машинами”.
