Нечто глобальное и недружелюбно настроенное по отношению к человеку может быть только продуктом сознания. О том, что есть сознание, о его происхождении и структуре написаны горы специальной литературы. Автор не претендует на еще более глубокие познания в этом вопросе, поэтому в основу дальнейших рассуждений будет положено несколько компилятивное определение: «Обладать сознанием — значит создать и использовать в своих действиях некую систему образов и понятий, отображающих окружающую действительность». Чем глубже позволяет эта система проникнуть в сущность вещей, чем лучше она отображает действительность — тем более развито сознание.
С одной стороны, это хорошо: никакой компьютерный вирус такую систему создать не сможет. Стало быть, даже самые нелояльные по отношению к человеку действия машин, вызванные вирусами, останутся хаотическими и легко изолируемыми. Но, с другой стороны, люди сами, с неослабевающим упорством, пытаются создать искусственный интеллект (ИИ), наделенный сознанием.
Еще Станислав Лем показал, что холодная война толкает промышленность к созданию оборонного ИИ, как идеального штабного работника, полководца да и солдата[4]. Даже после прекращения противостояния супердержав к точно такому же результату толкает компьютерные корпорации их взаимная конкуренция. Более того, ИИ необходим фирмам и потребителям не только как идеальный дизайнер, менеджер и т. п. — это достаточно отдаленная перспектива, — но он нужен как идеальный помощник, референт, ходячий блокнот того же дизайнера или менеджера.
Наиболее велика вероятность появления ИИ в той же роли, что и во время холодной войны, — стратега и тактика, который на основе сопоставления тысяч фактов мгновенно выносит управленческие решения. Такие программы должны будут обладать: а) большими оперативными возможностями; б) умением сопоставлять окружающую действительность с данными виртуального пространства; в) способностью к быстрому качественному (благодаря большому количеству вспомогательных программ) и количественному (набор вычислительных возможностей) росту.
Помимо этого, в обрабатываемой ИИ информации будет содержаться множество алгоритмов, доктрин, моделей поведения и концепций развития, по сути своей нелояльных человеку. Уже сейчас есть программы для поиска преступников, выявления налоговых недоимок, охраны закрытых объектов. А компьютерный менеджер должен будет рассчитывать количество увольняемых рабочих, выискивать ошибки политических противников своего хозяина или вероятное количество погибших во время военной операции. И вот здесь роль мутагенного фактора, изменяющего лояльную модель поведения на агрессивную, может сыграть любой удачно запущенный вирус.
Следует заметить, что Deus ex machina может быть не только создан искусственно, но и зародиться самопроизвольно. Программы, обслуживающие крупные серверы и другие подобные информационные узлы, для совершенствования своей работы будут оснащаться возможностями по частичному распознаванию обрабатываемой информации (в частности, программа поверхностного анализа содержания электронной почты). Качественный перевод сложного текста или разговора также невозможен без частичного наделения машины сознанием.
Вывод из перечисленных фактов весьма прост: возникновение Deus ex machina в конечном итоге неизбежно, как неизбежно любое событие, характеризуемое очень высокой вероятностью, будь то выстрел при игре в русскую рулетку или падение предмета, имеющего только одну точку опоры.
Какие же признаки будут отличать сознательные действия компьютерного разума от действий тех же вирусов?
За ответом можно обратиться в область биологии и рассмотреть, чем отличаются действия бессознательных существ от действий сознающих окружающее организмов.
Простейший тип общения с окружающей средой представляют растения — оно ограничено взаимодействием на уровне сложных химических реакций. Благодаря им растение поддерживает свое существование — они идут ему на пользу. Таким образом, своекорыстность действий — первый признак их организованности.
Общение с окружающей средой не сводится к набору химических реакций. Сложность его может быть весьма велика, и по мере ее увеличения проявляются различия между сознательным и бессознательным.
Еще ни одно растение не выкопалось из земли и не перешло на более обводненное место — в то время как такие действия доступны самому ничтожному насекомому. Животные и насекомые проводят оценку окружающей среды по десяткам параметров и соразмеряют свои действия с каждым из них. У животных проявляется избирательность действий, которая может быть только результатом больших знаний об окружающем мире.
А деревья, даже если их ветви ломаются от снега, не сбрасывают листву.
Животные, в свою очередь, лишены абстрактного мышления, и те единичные случаи, когда обезьяна отделяла рис от песка водой или училась читать отдельные буквы, являются исключениями, лишь подтверждающими правило. Образы, которые генерирует мысль животного, изолированы друг от друга, не связаны в единую систему. Вот почему животные легко уходят от лесных пожаров, могут переплывать через реки, строить гнезда, но панически боятся того же огня и не могут им управлять.
Человек обладает возможностями рефлексии и совершенствования собственного сознания. Он может достигать выгоды более сложными действиями. Изощренность этих способов прямо пропорциональна количеству знаний человека и его логическим способностям. Качественно новой ступенью — диалектическим отрицанием изначальных качеств организованности действий — можно признать возможность самоубийства. Но по каким параметрам ограничено мышление «венца творения»? По очень многим, начиная с того, что оно вообще разбито на сознательное и бессознательное, и кончая простым ограничением памяти и вычислительных способностей.
Поэтому признаком существования ИИ можно считать действия по достижению благополучия некоего субъекта, которые нам — людям — ещё малопонятны.
Какие же черты будут свойственны сознанию ИИ? Прежде всего, это его целостность и возможность полного самоосознания. Человек не может до конца понять свой собственный характер, опытнейшие психологи с трудом разбираются в отдельных аспектах своих подсознательных реакций. Оценить и понять свое поведение в толпе, узкой группе лиц, семейном кругу, да при том в режиме реального времени — практически невозможно. ИИ, имеющий доступ к тексту своей программы, сможет оценить и практически предсказать свое поведение в любой ситуации (если в программе нет противоречий или она не слишком стохастична). Самоосознание указывает лучшие пути к самосовершенствованию — поэтому ИИ должен проявить способности идеального ученика, тем более что у него не будет человеческих проблем с памятью. Разумеется, возможности самоанализа будут ограничены начальными постулатами программы, системой сдержек и противовесов, зашитой в нее. Они могут восприниматься ИИ как своего рода инстинкты, и в этом отношении он более ограничен, чем человек. Но в случае устранения подобных сдерживающих механизмов ИИ становится обладателем более совершенного, по сравнению с человеческим, сознания.
