хмыкнула наконец Мама Кенга, избегая смотреть на экраны. – Если бы я не знала контекста, я бы сказала, что мы наблюдаем за тем, как клан Раукаан с кем-то сражается не на жизнь, а на смерть.
– Да, выглядит очень похоже, – согласился Енот. – Но тогда возникает следующий вопрос – а с кем же так отчаянно сражается клан Раукаан? Учитывая, что делает это он в своей домашней системе, в самом сердце своих владений, и ни один из известных кланов не объявлял им открытой войны.
– Ну… Очевидно же, – голос Веселого Скунса сорвался на хрип, заставив главного научника прокашляться. – Отбросьте все невозможное, то, что останется, и будет ответом, каким бы невероятным он ни оказался. Началось. Рауки сражаются с тем, что вылезло из открытой ими шкатулки Пандоры.
– Не факт, – скривилась как от лимона Кенга, по-прежнему не поднимая взгляд от стола. – Это может быть гражданская война.
– В железном клане Раукаан? – не поверил Тигра.
– Ну вот как бы да, – кивнул Енот. – Проще поверить в восстание искусственного интеллекта, чем в бунт у Раукаан.
– Почему же… – скорее для проформы возразила Кенга. – Как раз, устав от суровой дисциплины, группа молодых клановцев сражается за новый путь… Да и какое там восстание ИскИна! Если это действительно зонды фон Неймана, они просто выполняют свою программу. Это сбой. Баг. Глюк. Но никак не восстание, восстание предполагает волю и цели, борьбу с устоявшимся порядком вещей.
– Кенга, – примирительно поднял руку Енот. – Лучше скажи, если это – гипотетически – зонды фон Неймана, то почему они отстреливаются? Мы видим такое количество высвобождаемой энергии, что это похоже на двусторонний бой. Если бы это было не так, то такой огневой мощи раукам бы хватило, чтобы аннигилировать какой угодно флот зондов.
– Вот я и говорю, что они сражаются с более привычным противником. Может быть кто-то без объявления войны, слишком устал от вылазок рауков за ресурсами… Или это вообще кто-то новый. Мало ли. Галактика ведь большая, и нельзя исключать того, что мы все же встретили чужих.
– Программа самозащиты, – предположил Веселый Скунс.
– Тогда мы имеем дело с эволюцией, а значит глубина наших проблем увеличилась экспоненциально, – печально вздохнула Мама Кенга.
– Так, поясните для простых людей, – потребовал клан-лидер.
– Третий закон робототехники, – объяснил Скунс. – Робот обязан заботиться о своей безопасности, если связанные с этим действия не противоречат первому и второму законам.
– Это я знаю, – кивнул Енот. – Но наблюдаемые действия очевидно противоречат первому.
– Классическая формулировка законов имеет логические неоднозначности, которые могут привести к непредвиденным последствиям, – продолжил объяснения Скунс. – Поэтому в изначальном виде они не используются. Но так или иначе подобные принципы закладываются в технику. Если уж ты строишь дорогого и полезного робота, то ты хочешь, чтобы он не самоубился в первый же день.
– Если это не робот-камикадзе, – заметил Тигра.
– Да, разумеется. Если это не его предназначение. От боевого робота иногда требуется самопожертвование. Так же как и… кхм… причинение вреда. Но в случае с шахтером ты предпочтешь, чтобы он работал долго. Не лез в лаву. Не прокладывал курс через звезду, потому что так короче до следующего астероида. Мог смыться из зоны боевых действий, наконец, потому что рациональнее вернуться позже и возобновить добычу, чем просто стать металлоломом, попав под выстрел, на который, к тому же, шахтер не может ответить.
– Так. Понятно. А при чем здесь эволюция?
– Изменяющаяся для подстройки под окружающую среду система попадает под действие законов эволюции. Если создать робота, который не просто выполняет намертво зашитый алгоритм типа «если в радиусе Х наблюдается стрельба – двигайся в противоположную сторону», а учится, то есть сам выбирает вид ответа, тогда мы рано или поздно получим очень неожиданный ответ.
– Получим очень быстро, – хмыкнула Кенга. – Не забывайте, это машина. Она будет думать очень быстро. Помните ту историю с программой, которая с нуля, без всякого обучения, освоила правила игры в Го, и достигла такого совершенства, играя миллиарды партий сама с собой, что всухую разметала всех чемпионов людей?
– Минутку, – вновь заговорил Тигра. – Я не понимаю. Если этот ваш обучающийся робот выберет ответное действие не убегать, а наоборот, двигаться к источнику опасности, то он будет уничтожен, и на этом вся его эволюция закончится.
– Поэтому робот не двигается сразу физически, а сперва моделирует ситуацию «в уме», – пояснил Скунс. – От хорошего шахтера требуется воспринимать окружающий мир, оценивать его и предвидеть последствия своих действий. Это очевидно – чтобы находить нужные ресурсы, добывать их наиболее эффективным способом, не повредиться в процессе. Не быть засыпанным обвалом, буря очередную жилу, условно говоря. Перенастроить эту систему оценки на анализ более широкого спектра факторов – плевое дело.
– И робот может в короткое время провести миллиарды мысленных экспериментов, – подхватила Кенга. – Эти эксперименты основаны на анализе реальности, так что по сути у робота есть возможность предвидеть будущее – «попробовать» множество вариантов, и выбрать из них оптимальный. Это своего рода аналог множества поколений живого существа, которое перебором ищет наиболее эффективный способ жизни. И здравствуй, эволюция.
– Итак, – медленно произнес Енот. – В итоге. Мы имеем продвинутого шахтера с искусственным интеллектом, который способен анализировать окружающую среду для наиболее успешного выполнения своих функций. Способен планировать свои действия, предсказывая их последствия, основываясь на миллиардах симуляций. И имеет приказ «не умирать». Я правильно понимаю?
– Ага, – радостно кивнула Мама Кенга. – И еще приказ размножаться. Это все же зонд фон Неймана.
– И этот шахтер вскоре обзаводится пушками?
– Именно. Это же простой ход рассуждений – чтобы не быть уничтоженным чужим выстрелом, надо уничтожить угрозу превентивно. А для этого надо заиметь себе оружие, желательно помощнее.
– Какая прелесть.
– Да. И не забывай – действия робота могут оказаться для нас очень неожиданными. Мы не знаем, как далеко зашли его симуляции. Так что очень странный ход, которого мы никак не ожидали и не понимаем, может быть ступенькой далеко идущих планов. Это станет нам понятно только со временем. Мы просто не просчитываем ситуацию на столько ходов, чтобы понимать, какие действия целесообразны.
– Я вижу проблему, – кивнул Тигра. – Если мы не понимаем противника, мы не можем его предсказать. А значит инициатива у него. Мы в роли догоняющих, вынужденных только реагировать. Это всегда плохо, еще Сунь Цзы предупреждал.
– То есть, мы имеем дело со стремительно развивающимся и превосходящим нас противником?! – воскликнул Енот.
– Ух ты! Настоящий руководитель, – цинично восхитилась Мама Кенга. – Последним все понимает.
– Нет, я имею в виду – уже?
– Ну да. Сейчас они натренируются на рауках, заодно разживутся ресурсами из их разобранных кораблей,
