В заставляющей задуматься статье 1993 года математик и писатель-фантаст Вернор Виндж назвал этот интеллектуальный взрыв сингулярностью и доказывал, что это будет точка, за которой мы не сможем делать надежных предсказаний.
Я думаю, что если мы и сможем построить сверхразумные машины, то первая из них будет очень сильно ограничена в возможностях тем программным обеспечением, которое мы напишем, и что мы компенсируем наш недостаток понимания того, как оптимально запрограммировать интеллект, создав аппаратное обеспечение, обладающее значительно большей вычислительной мощностью, чем наш собственный мозг. В конце концов, наши нейроны не лучше и не многочисленнее, чем у дельфинов, просто по-другому соединены, а значит, программное обеспечение может иногда быть важнее аппаратуры. Эта ситуация, вероятно, позволила бы первой машине радикально совершенствоваться, переписывая собственное программное обеспечение. Иными словами, в то время как людям понадобились миллионы лет эволюции, чтобы радикально улучшить свой интеллект, эта эволюционирующая машина смогла бы воспарить над интеллектом своих предков, то есть нас, за считанные часы, если не за секунды.
И после этого жизнь на Земле навсегда изменится. Тот (или то), кто будет контролировать эту технологию, быстро станет самым богатым и могущественным, обыгрывая все финансовые рынки и превосходя в изобретениях и патентах всех ученых-людей. Создавая радикально лучшее аппаратное и программное обеспечение для компьютеров, такие машины могли бы быстро наращивать свою мощность и численность. Вскоре были бы изобретены технологии, выходящие за рамки нашего нынешнего воображения, включая любое оружие, которое покажется необходимым. А дальше настал бы черед политического, военного и социального управления миром. С учетом того, насколько серьезное влияние оказывают сегодня книги, СМИ и интернет, я полагаю, что машины смогли бы превзойти в публицистике миллиарды самых талантливых людей, покорив наши сердца и умы без всякого подкупа или завоевания.
Кто контролирует сингулярность?
Если наступит сингулярность, как она повлияет на человеческую цивилизацию? Конечно, мы не можем знать это наверняка, но, думаю, это зависит от того, кто или что будет ее первоначально контролировать (рис. 13.4). Если технология будет первоначально разработана учеными или другими людьми, которые сделают ее общедоступной, то, я думаю, возникшая ситуация «все для всех даром» будет крайне нестабильной и приведет к тому, что после короткого периода конкуренции управление сосредоточится в едином центре. Если этим центром будет эгоистичный человек или корпорация, нацеленная на получение прибыли, то, думаю, такой владелец вскоре возьмет под контроль государственное управление, став правителем в масштабах всего мира. Альтруистичный человек может повести себя так же. В этом случае управляемый человеком искусственный интеллект (ИИ) был бы, по сути, подобен порабощенному богу, который по своим способностям далеко превосходит людей, но делает то, что приказывают хозяева. ИИ был бы настолько же совершеннее современных компьютеров, насколько люди совершеннее муравьев.
Вполне вероятно, что удержать ИИ в подчиненном состоянии окажется невозможным. Носители ИИ будут коммуницировать с нами и смогут нас изучить нас в достаточной мере, чтобы придумать, как уговорить нас сделать что-нибудь на первый взгляд безобидное – что, однако, позволит им вырваться из-под опеки и, распространяясь стремительно, как инфекция, взять над нами верх. Я сильно сомневаюсь, что мы сможем избежать поражения, учитывая, как тяжело нам дается уничтожение даже сравнительно простых компьютерных вирусов.
Чтобы предупредить «побег» или лучше служить человеческим интересам, владелец может предпочесть добровольно передать власть тому, что исследователь ИИ Элиезер Юдковски назвал «дружественным ИИ», который независимо от уровня своего развития стремится приносить человечеству пользу, а не вред. Если так, то дружественные носители ИИ станут действовать как доброжелательные божества или смотритель зоопарка, следя, чтобы люди были накормлены, находились в безопасности и достигали самореализации, оставаясь при этом под твердым контролем. Если вся человеческая работа будет выполняться машинами под управлением дружественного ИИ, человечество может продолжать существовать более или менее счастливо – при условии, что необходимые продукты будут доставаться нам практически даром. Напротив, в сценарии, где сингулярностью управляет эгоистичный человек или коммерческая корпорация, вероятным результатом станет невиданная диспропорция в доходах, поскольку история учит нас, что большинство людей предпочитает накапливать богатство, а не делиться с другими.
Рис. 13.4. Если наступит сингулярность, все будет зависеть от того, кто ею управляет.
Однако и лучшие планы рушатся. Ситуация с дружественным ИИ может оказаться неустойчивой, превратившись в конце концов в подконтрольную недружественному ИИ, цели которого не будут совпадать с человеческими, а действия приведут к уничтожению и самого человечества, и всего, что нам дорого. Такое уничтожение может быть скорее побочным эффектом, чем преднамеренным результатом: ИИ может просто захотеть использовать земные атомы для других целей, несовместимых с нашим существованием. Аналогия с тем, как мы сами обращаемся с иными формами жизни, не радует. Если мы хотим построить гидроэлектростанцию и оказалось, что в области затопления живет некоторое число муравьев, мы все равно построим плотину. У нас нет особенной антипатии к муравьям, однако есть цели, которые мы считаем более важными.
Внутренняя реальность сверхразумной жизни
А что можно сказать о сознании и самосознании искусственного интеллекта или интеллектов? Будут ли они обладать внутренней реальностью? Если нет, то с любой практической точки зрения они будут как зомби. Из всех черт, присущих человеческой форме жизни, самой замечательной я считаю сознание. Насколько я понимаю, именно так Вселенная приобретает смысл, а если нашу Вселенную захватит форма жизни, лишенная этой черты, это окажется бессмысленным разбазариванием огромного пространства.
О природе жизни и сознания яростно спорят. Я считаю, что эти явления могут существовать в гораздо более общем смысле, а не только в известных нам примерах на углеродной основе. Я считаю, что сознание – это способ, каким информация ощущает, что ее обрабатывают (гл. 11). Поскольку материя может быть организована так, чтобы обрабатывать информацию множеством способов самой разной сложности, предполагается большое разнообразие уровней и типов сознания. Конкретный тип сознания, который мы знаем субъективно, – это, в таком случае, явление, возникающее в отдельных, очень сложных физических системах, которые получают, обрабатывают, хранят и выводят информацию. Ясно, что если атомы могут быть собраны в людей, то законы физики также позволяют сконструировать гораздо более развитые формы жизни.
Поэтому я думаю, что если мы посредством сингулярности запустим в конце концов развитие более развитых сущностей, скорее всего они тоже будут иметь самосознание и должны будут рассматриваться не как машины, а как подобные нам сознательные существа. Однако их сознание может субъективно ощущаться совсем не так, как наше. Например, у них, вероятно, не будет присущего нам страха смерти: поскольку у них будут резервные копии самих себя, все, что им может грозить – это потеря воспоминаний, накопленных с момента последнего бэкапа. Возможность легко копировать информацию и программное обеспечение между носителями ИИ, вероятно, ослабит чувство индивидуальности, которое характерно для человеческого сознания. Стало бы меньше различий между вами и мной, если бы мы могли легко копировать наши воспоминания и делиться способностями, так что группа соседствующих носителей ИИ может ощущать себя скорее как единый организм с целым ульем сознаний.
Если так, то появляется возможность примирить долгосрочное сохранение жизни с аргументом Судного дня (гл. 11): то, что кончается, – не сама жизнь, а только наш референтный класс, наблюдательные мгновения самосознания, которые субъективно ощущаются похожими на человеческие сознания. Даже если сложные ульеподобные сознания в течение миллиардов лет населяют Вселенную, мы не в большей мере должны удивляться тому, что не являемся ими, чем тому, что мы не являемся муравьями.
Реакция на сингулярность
Реакция людей на возможность сингулярности очень различается. У дружественного ИИ весьма почтенная история в научно-фантастической литературе, поддержанная тремя законами робототехники Азимова. Популярны и сюжеты, в которых ИИ перехитрил и атаковал своих создателей, как в фильмах о Терминаторе. Многие отмахиваются от сингулярности как от «мечты гиков», видя в ней сценарий, который вряд ли реализуется… и уж точно не реализуется в обозримом будущем. Другие думают, что это вполне может случиться и что если у нас не будет детального плана, может погибнуть не только человеческий вид, но и все, что нам дорого. Я состою советником в Институте изучения искусственного интеллекта (http://intelligence.org), и многие его сотрудники рассматривают сингулярность как наиболее серьезную угрозу нашего времени. Некоторые из них думают, что если нельзя гарантировать реализацию варианта с дружественным ИИ по Юдковски и др., то лучше держать ИИ под надежным человеческим контролем или вовсе не улучшать ИИ.
