манипулируют. Если человек поверил во что-то, он часто сохраняет приверженность своим убеждениям и даже укрепляется в них, когда ему предъявляют явные доказательства их неправоты. Конкретный пример: компании часто используют бесплатные пробные версии с последующей автоматически включающейся ежемесячной подпиской, чтобы взломать готовность потребителя платить. Расчет строится на том, что люди обычно переоценивают возможности своей памяти и умение делать все точно в срок, и, даже если они признают за собой этот недостаток и постоянно собираются отменить подписки на услуги, которые им не нужны, все равно большинство из них ведется на очередные бесплатные версии, а компании продолжают списывать ежемесячную абонентскую плату.
Другой способ защититься от когнитивных хаков – объявить определенные манипулятивные практики незаконными. Австралия, например, обязала продавцов раскрывать полную цену товара сразу, чтобы предотвратить капельное ценообразование, а Федеральная торговая комиссия США требует, чтобы рекламные заявления были «разумно обоснованы». Мы можем снизить эффективность некоторых из этих хаков и, следовательно, сделать их менее опасными, уменьшив возможности микротаргетирования. Если платные сообщения в соцсетях, особенно политическая реклама, будут довольствоваться широкой аудиторией, это затруднит использование целого ряда когнитивных хаков в неблаговидных целях.
Однако любые новые правила рано или поздно будут взломаны. Поэтому контроля, пусть даже надежного и гибкого, а также прозрачности недостаточно, чтобы гарантировать защиту от когнитивных хаков и отучить людей от их использования. Задача усложняется еще и тем, что многие из этих хаков наносят вред, который в моменте кажется абстрактным, а проявляется спустя какое-то время, и потому довольно трудно объяснить, что с ними «не так».
Когнитивные хаки играют на самых базовых и общих аспектах человеческого разума, начиная с инстинкта выживания и заканчивая стремлением к социальному статусу. Они могут быть использованы против кого угодно. Чтобы защититься от когнитивных хакеров, необходимы усилия всего общества в сферах образования и регулирования, а также технические решения, особенно в онлайн-среде. Поскольку цифровые технологии занимают все больше нашего времени, когнитивные хаки все чаще осуществляются с помощью машин. А поскольку компьютерные программы из хакерских инструментов сами превращаются во все более быстрых, мощных и автономных хакеров, понимание того, как цифровые продукты могут взламывать наше сознание, приобретает все более важную роль для защиты от манипуляций.
Ни одна система не существует изолированно, всегда являясь частью иерархии.
Представьте себе человека, который хочет украсть деньги посредством онлайн-банкинга. Он может хакнуть веб-сайт банка, интернет-браузер клиента, операционную систему или аппаратное обеспечение его компьютера. Все эти взломы потенциально могут достичь своей цели – кражи денег.
Теперь представьте себе человека, который хочет платить меньше налогов. Очевидно, что он будет взламывать налоговый кодекс и искать в нем лазейки. Но если у этого человека есть власть и влияние, он может подняться на уровень выше и хакнуть законодательный процесс, который формирует налоговый кодекс. Поднявшись на два уровня выше, он сможет хакнуть нормотворческий процесс, используемый для реализации законодательства, или же процесс ассигнований, чтобы в налоговых органах возник дефицит сотрудников, задействованных в налоговых проверках. (Хакинг процесса правоприменения – это еще один способ подорвать цель системы.) Если наш хакер поднимется на три уровня вверх, он займется взломом политического процесса, используемого для избрания законодателей. На следующем, четвертом по счету уровне он сможет взломать медиаэкосистему, которая служит для обсуждения политических процессов. Последний, пятый уровень – это уровень хакинга когнитивных процессов, спровоцированных медиаэкосистемой, в результате которых избираются законодатели, создающие налоговый кодекс, предоставляющий ему лазейки. Для этого он даже может спуститься на уровень ниже, чтобы найти уязвимости и эксплойты в программе подготовки налогов.
Я пытаюсь сказать, что иерархия систем – это иерархия возрастающей общности, в которой вышестоящая система управляет нижестоящей. И хакеры могут атаковать любой из этих уровней. Хакинг использует иерархию взаимосвязанных систем. Хакнуть какую-то обособленную систему или манипулировать ею порой очень непросто, но системы более высокого уровня, которые управляют ею, или системы нижестоящие, реализующие ее команды, могут стать богатым источником эксплойтов, которые сами по себе, оставаясь на своем уровне иерархии, не представляют опасности.
В технологических системах продвижение вверх по уровням затруднено. Тот факт, что Microsoft Windows имеет уязвимости, не гарантирует, что кто-то может взломать процесс найма сотрудников корпорации Microsoft, чтобы поставить себя в положение, позволяющее внедрить еще больше уязвимостей в операционную систему. В социальных системах такое продвижение вверх значительно проще, особенно для тех, у кого есть деньги и влияние. Джефф Безос без проблем купил самый большой дом в Вашингтоне {213}, чтобы развлекать законодателей и влиять на них, и газету The Washington Post, один из самых авторитетных источников новостей в США. Разумеется, еще проще для него нанять программистов, чтобы написать такое программное обеспечение, которое он захочет.
Некоторые хакеры работают на нескольких уровнях одновременно. В 2020 г. мы узнали о Ghostwriter {214}, группе предположительно российского происхождения, которая взломала системы управления контентом нескольких восточноевропейских новостных сайтов и разместила фейковые истории. Это обычный хакинг компьютерных систем, подключенных к интернету, в сочетании с хакингом доверия аудитории к новостным сайтам с хорошей репутацией.
Устранением уязвимостей тоже проще заниматься на более низких уровнях иерархии систем. Уязвимость в TurboTax может быть исправлена за несколько дней. Устранение лазейки в налоговом кодексе может растянуться на годы. Когнитивные уязвимости легко могут существовать несколько человеческих поколений (хотя конкретные тактики их эксплуатации, возможно, придется регулярно менять).
Это делает когнитивные хаки самыми опасными из всех. Они управляют нашими действиями, как индивидуальными, так и коллективными, а значит, и нашими социальными системами. Если вы можете взломать человеческий мозг, то ничто не мешает вам использовать эти методы на избирателях, служащих, бизнесменах, регуляторах, политиках и подобных вам хакерах, подталкивая их к изменению систем обитания по вашему усмотрению.
Сегодня когнитивный хакинг несет в себе новые угрозы. Наш мозг не единственная когнитивная система, о которой нам нужно беспокоиться. Государственные услуги, бизнес-транзакции и даже основные социальные взаимодействия теперь опосредуются цифровыми системами, которые так же, как и люди, делают прогнозы и принимают решения, но намного быстрее, последовательнее и при этом менее ответственно, чем мы. Машины все чаще принимают решения за нас, но думают иначе, чем мы, и взаимодействие нашего разума с ИИ указывает хакерам путь к захватывающему и опасному будущему в сферах экономики, права и не только.
Часть VII
Хакинг и системы искусственного интеллекта
50
Искусственный интеллект и робототехника
Искусственный интеллект (ИИ) – это информационная технология. Она представляет собой программное обеспечение для компьютеров и уже глубоко внедрилась в нашу социальную структуру, причем не только там, где мы это видим и осознаем, но и в области, пока недоступные нашему пониманию. Эта технология хакнет наше общество так, как никто и ничто доселе.
Мое утверждение базируется на двух предпосылках. Во-первых, системы ИИ будут непревзойденным инструментом для хакеров-людей. А во-вторых, они сами станут хакерами. ИИ будет находить уязвимости во всех видах социальных, экономических и политических систем, а затем использовать их с беспрецедентной скоростью, масштабом, размахом и изощренностью. Это не просто разница в интенсивности, это качественно иной хакинг. Мы рискуем оказаться в будущем, где системы ИИ будут взламывать другие системы ИИ, а последствия этого, которые обрушатся на людей, будут не более чем сопутствующим ущербом.
Это может показаться преувеличением, но ничего из того, что я описываю, не требует научно-фантастических технологий далекого будущего. Я не постулирую никакой «сингулярности», когда цикл обратной связи при обучении ИИ становится настолько быстрым, что опережает человеческое понимание. В моих сценариях нет ни злых гениев, ни разумных андроидов вроде Дейты из «Звездного пути», R2-D2 из «Звездных войн» или Марвина из «Автостопом по галактике». Не потребуется таких мощных и вредоносных системы ИИ, как Скайнет из «Терминатора», Альтрон из «Мстителей» или агент Смит из «Матрицы».
