Вопрос: Будут ли чувства запрограммированы явно?
Возможный ответ: Нет. Это было бы смешно. Никакая прямая симуляция эмоций — например, ПАРРИ — не сможет приблизиться к сложности человеческих переживаний, которые косвенно вызваны организацией нашего мозга. Программы или машины разовьют чувства таким же образом, как побочный продукт их структуры и организации, а не путем прямого программирования. Так, никто не напишет подпрограммы «влюбленности», так же как никто не напишет подпрограммы «совершения ошибок.» «Влюбленность» — это описание сложного процесса сложной системы; совсем не обязательно, чтобы в системе был некий отдельный модуль, отвечающий за это состояние.
Вопрос: Сможет ли думающий компьютер быстро вычислять?
Возможный ответ: Может быть, нет. Мы сами состоим из аппаратуры, которая проделывает сложные вычисления, но это не означает, что на уровне символов, там, где находимся «мы», нам известно, как делать те же самые вычисления. Иными словами, нам не удастся загрузить числа в собственные нейроны с тем, чтобы подсчитать, сколько мы должны в бакалейной лавке. К счастью для нас, уровень символов (то есть, мы сами) не имеет доступа к нейронам, ответственным за мышление, — иначе мы потеряли бы голову. Перефразируя Декарта еще раз,
«Я мыслю; следовательно, у меня нет доступа к уровню, на котором я суммирую.»
Скорее всего, в случае разумной программы ситуация будет аналогична. Программа не должна иметь доступа к цепям, где происходит процесс мышления, — иначе она потеряет ЦП. Говоря серьезно, я думаю, что машина, которая сможет пройти тест Тюринга, будет вычислять так же медленно, как и мы с вами, и по той же причине. Она будет представлять число «два» не как два бита «10», а как некое понятие так же, как это делают люди, — понятие, нагруженное такими ассоциациями, как слова «пара» и «двойка», понятия четности и нечетности, форма числа «2» и так далее. С подобным дополнительным багажом думающая программа станет складывать довольно медленно. Разумеется, мы могли бы снабдить ее, так сказать, «карманным калькулятором» (или встроить его в сам компьютер). Тогда она вычисляла бы очень быстро, но делала бы это точно так же, как человек с калькулятором. В машине было бы две части, надежная, но безмозглая часть и разумная, но ошибающаяся часть. Надеяться на безошибочное действие такой составной системы можно было бы не более, чем на систему, состоящую из машины и человека. Так что, если вам нужны правильные ответы, лучше пользуйтесь исключительно калькулятором и не добавляйте к нему разум!
Вопрос: Будут ли такие шахматные программы, которые смогут выиграть у кого угодно?
Возможный ответ: Нет. Могут быть созданы программы, которые смогут обыгрывать кого угодно, но они не будут исключительно шахматными программами. Они будут программами общего разума и, так же как люди, они будут обладать характером. «Хотите сыграть партию в шахматы?» — «Нет, шахматы мне уже надоели. Лучше давайте поговорим о поэзии…» Приблизительно такой разговор вы сможете иметь с программой, которая будет способна выиграть у кого угодно. Дело в том, что настоящий разум непременно основан на возможности общего обзора — так сказать, запрограммированной способности «выходить из системы» по крайней мере в том объеме, в каком мы сами обладаем такой способностью. С возникновением этой способности вы теряете контроль над программой — она переступает некий порог, и вам остается только расхлебывать заваренную вами кашу.
Вопрос: Будут ли в памяти программы некие места, где будут храниться параметры, управляющие поведением программы, так что, если бы вы забрались внутрь программы и поменяли их, программа стала бы умнее или глупее, более творческой или более заинтересованной в футболе? Короче, сможете ли вы «настраивать» программу, «подкручивая ее ручки» на относительно низком уровне?
Возможный ответ: Нет. Программа будет почти безразлична к изменениям любого данного элемента памяти, так же, как не меняемся и мы, несмотря на то, что тысячи нейронов нашего мозга ежедневно умирают. (!) Однако, если вы зайдете слишком далеко в вашей возне с программой, вы можете ее сломать, точно так же, как если бы вы небрежно провели нейрохирургию человеческого существа. В программе не будет никакого «магического» места, где будет расположен, скажем, ее коэффициент умственного развития. Это будет одной из черт, возникающей на основе низших уровней, и локализовать ее будет невозможно. То же самое верно и в отношении «количества объектов, которое программа может удержать в своей кратковременной памяти», «ее любви к физике» и так далее, и тому подобное.
Вопрос: Можно ли «настроить» какую-нибудь разумную программу так, чтобы она действовала, как я или как вы — или как нечто среднее между нами?
Возможный ответ: Нет. Разумная программа будет так же мало походить на хамелеона, как и человек. Она будет опираться на постоянство своей памяти и не сможет произвольно менять характер. Идея изменения внутренних параметров с тем, чтобы «настроиться на новую индивидуальность» указывает на смехотворную недооценку сложности личности.
Вопрос: Будет ли у разумной программы «сердце», или же она будет состоять их «бессмысленных циклов и последовательностей тривиальных операций» (выражаясь словами Марвина Мински)?[85]
Возможный ответ: Если бы мы могли увидеть всю программу насквозь, как видим дно мелкого пруда, мы наверняка увидели бы только «бессмысленные циклы и последовательности тривиальных операций» — и никакого «сердца». Существует два крайних взгляда на ИИ: один из них утверждает, что человеческий разум по неким фундаментальным и мистическим причинам запрограммировать невозможно. Другой говорит, что стоит только собрать нужные «эвристические инструменты — множественные оптиматизаторы, способы узнавания регулярностей, планирующие алгебры, рекурсивные процедуры управления и так далее»[86], и у нас будет разумная программа. Я нахожусь где-то посредине: мне кажется, что «пруд» ИИ окажется так глубок и мутен, что нам не удастся увидеть его дна. При взгляде с вершины циклы будут незаметны, так же, как на сегодняшний день электроны, переносящие ток, незаметны большинству программистов. Когда будет создана программа, выдержавшая тест Тюринга, мы увидим в ней «сердце», хотя и будем знать, что его там нет.
Вопрос: Будут ли когда-нибудь созданы «сверх-разумные» программы ИИ?
Возможный ответ Не знаю. Непонятно, сумеем ли мы понять «сверх-разум» или общаться с ним и есть ли вообще какой-нибудь смысл у этого понятия. Например, наш собственный разум связан со скоростью нашего мышления. Если бы наши рефлексы были в десять раз быстрее или медленнее, у нас могли бы развиться совершенно иные понятия о мире. У создания с радикально иным представлением о мире может просто не оказаться с нами многих точек соприкосновения. Я часто спрашиваю себя, могут ли существовать музыкальные произведения, являющиеся по отношению к Баху тем, чем Бах является по отношению к фольклорным мелодиям — так сказать, «Бах в квадрате». Смог бы я понять подобную музыку? Может быть, вокруг меня уже есть подобная музыка, но я просто ее не узнаю, точно так же, как собаки не понимают языка. Идея сверх-разума очень странна. Так или иначе, я не считаю это сегодняшней целью исследований в области ИИ (хотя, если мы когда-нибудь достигнем уровня человеческого разума, сверх-разум, несомненно, станет следующей задачей — и не только для нас, но и для наших искусственных коллег, которые будут так же, как и мы заинтересованы в проблемах ИИ и сверх-разума). Вероятно, что программы ИИ будут интересоваться общими проблемами ИИ — и это вполне понятно.
Вопрос: Вы, кажется, утверждаете, что программы ИИ будут практически неотличимы от людей. Будет ли между ними какая-нибудь разница?
Возможный ответ: Скорее всего, разница между программами ИИ и людьми будет больше, чем разница между большинством людей. Почти невозможно вообразить, что «тело», в котором будет расположена такая программа, не окажет на нее сильнейшего влияния. Так что, если только она не будет расположена в превосходной имитации человеческого тела, — а это вовсе не обязательно! — у нее, скорее всего, будут совершенно иные понятия о том, что важно, интересно и так далее. Витгенштейн однажды сделал следующее забавное замечание: «Если бы лев заговорил, мы бы его не поняли». Эта мысль напоминает мне о картине Руссо, где в залитой лунным светом пустыне изображены мирный лев и спящая цыганка. Но откуда Витгенштейн это знает? Мне кажется, что любая думающая программа ИИ, даже если мы и сможем с ней разговаривать, будет казаться нам весьма чуждой. Поэтому нам будет очень трудно понять, действительно ли перед нами разумная программа, или просто некая программа «с завихрениями».
