Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер

Некоторые хаки, о которых я расскажу, даже не предполагают серьезных научных открытий. Да, они будут совершенствоваться по мере развития технологий ИИ, но уже сегодня мы можем видеть намеки на их появление. Эти хаки возникнут естественным образом, по мере того как ИИ будет становиться все более совершенным в обучении, понимании и решении проблем.

Это определение, как и предыдущие, не претендует на канонизацию, но справедливости ради должен заметить, что кратко определить ИИ сложно. В 1968 г. пионер компьютерной науки Марвин Мински описал ИИ следующим образом {215}: «Наука о том, как заставить машины делать то, что потребовало бы интеллекта, если бы это делали люди». Патрик Уинстон, еще один пионер ИИ, определил его как {216} «вычисления, которые делают возможным восприятие, рассуждение и действие». Стандартная интерпретация теста Тьюринга 1950 г., придуманная им по аналогии с игрой в имитацию [30], ставила задачу определить по текстовым ответам на вопросы, является ваш собеседник человеком или компьютерной программой.

Здесь необходимо провести различие между специализированным, или узким, и общим ИИ. Общий ИИ мы часто видим в фильмах: он может чувствовать, думать и действовать схожим с человеком образом по широкому спектру задач. Если по сюжету он умнее людей, то обычно говорят об «искусственном сверхинтеллекте». Соедините его с робототехникой и получите андроида, более или менее похожего на человека. Роботы, которые пытаются уничтожить человечество в фильмах, – это тоже общий ИИ.

Мы уже провели и проводим множество прикладных исследований по созданию общего ИИ. У нас есть теоретические разработки о том, как спроектировать эти системы, чтобы они вели себя хорошо, например не уничтожали человечество. Это очень увлекательная работа, охватывающая огромную область от компьютерных наук до социологии и философии, но прежде, чем мы увидим ее результаты в действии, вероятно, пройдут еще десятилетия {217}. Я же хочу сосредоточиться на узком ИИ, поскольку именно он сейчас находится в стадии активной разработки.

Узкий ИИ предназначен для выполнения конкретной задачи, как в случае беспилотного автомобиля. Он знает, как управлять транспортным средством, соблюдать правила дорожного движения, избегать аварий и что нужно делать в непредвиденных ситуациях, например когда мячик вылетает на дорогу. Узкий ИИ знает многое и может принимать на основе этих знаний решения, но только в сфере, ограниченной вождением.

Среди исследователей ИИ бытует шутка: если что-то начинает работать, оно перестает быть ИИ. Теперь это просто программное обеспечение. Логический вывод из этой шутки состоит в том, что, вероятно, единственными достижениями исследователей ИИ могут быть неудачи. И в этом есть доля правды. Термин «искусственный интеллект» является по своей сути чем-то загадочным, научно-фантастическим, а как только он становится реальностью, то теряет свое обаяние и загадку. Раньше мы считали, что для чтения рентгеновских снимков грудной клетки требуется рентгенолог, то есть умный человек с соответствующей подготовкой и профессиональными полномочиями. Сегодня мы знаем, что это рутинная задача, которую может выполнить и компьютер.

Чтобы лучше понять, что такое ИИ, подумайте вот о чем. Существует множество технологий и систем принятия решений, начиная от простого электромеханического термостата, который управляет печью в ответ на изменения температуры, и заканчивая каким-нибудь андроидом из научно-фантастического фильма. То, что делает ИИ таковым, зависит от сложности выполняемых им задач и среды, в условиях которой эти задачи решаются. Электромеханический термостат выполняет очень простую задачу, учитывающую только один аспект окружающей среды – температуру. Для этого даже не нужен компьютер. Современный цифровой термостат может определять, кто находится в помещении, и делать расчет будущих потребностей в тепле на основе прогноза погоды, данных об использовании обогревателя или кондиционера, общегородском энергопотреблении и посекундных расходах на электроэнергию. Футуристический ИИ-термостат, вероятно, сможет действовать как заботливый и внимательный дворецкий, что бы это ни значило в контексте регулирования температуры окружающей среды.

Я бы предпочел не зацикливаться на определениях, поскольку для целей нашего обсуждения они не имеют особого значения. В дополнение к принятию решений, важными качествами систем ИИ, которые я буду обсуждать, являются автономность (способность действовать независимо), автоматизация (способность реагировать на конкретные триггеры заданным образом) и физическая активность (способность изменять физическую среду). Термостат имеет ограниченную автоматизацию и физическую активность, но не обладает автономностью. Система, предсказывающая рецидив преступлений, не обладает физической активностью: она просто дает рекомендации судье. Беспилотный автомобиль обладает всеми тремя качествами, но строго в рамках заданных функций. Робот R2-D2 обладает всеми тремя в большом объеме, хотя по какой-то неясной причине его разработчики забыли о синтезе человеческой речи.

Робототехника тоже обросла популярной мифологией, но ее реальность менее причудлива. Как и в случае с ИИ, существует множество определений этого термина. В кино и на телевидении роботов часто подают как неких искусственных людей, или андроидов. Подобно ИИ, робототехника охватывает целый спектр логических и физических способностей. Я предпочитаю и в этом вопросе сосредоточиться на технологиях более прозаических и близких к нам по времени. Для наших целей робототехника – это автономия, автоматизация и физическая активность, развитая до максимума. Это киберфизическая автономия: технология ИИ внутри объектов, которые могут взаимодействовать с физическим миром напрямую.

Системы ИИ представляют собой программы, работающие на компьютерах, как правило, в крупномасштабных компьютерных сетях. Это означает, что они уязвимы для всех типов хакерских атак, которым подвергаются обычные компьютерные системы. Но помимо этого существуют специальные хаки, направленные исключительно на системы ИИ и, в частности, на системы машинного обучения (МО). МО – это подобласть ИИ, которая в прикладных системах вышла сегодня на первый план. Системы МО базируются на моделях, которые обрабатывают огромное количество данных и самостоятельно ищут решения согласно инструкциям. Атаки на системы MО бывают двух типов: одни нацелены на кражу данных, используемых для обучения, или кражу модели, на которой основана система, другие связаны с обходом настроек системы МО и подталкивают ее к принятию ошибочных решений.

Последний тип атак известен как враждебное машинное обучение и, по сути, представляет собой набор хаков. Часто процесс начинается с детального изучения конкретной системы МО, чтобы получить максимальное представление о ее функционировании и слепых зонах. Затем хакеры разрабатывают тщательно продуманные входные данные и направляют их в эти слепые зоны, чтобы обмануть систему МО. В 2017 г. исследователи из MIT напечатали на 3D-принтере черепаху, которую классификатор изображений на базе ИИ всякий раз опознавал как винтовку. Казалось бы, безобидные наклейки на знаке «Стоп», размещенные определенным образом, обманывают ИИ-классификатор, заставляя его думать, что перед ним знак ограничения скорости. Точно так же небольшие наклейки, размещенные на дороге, вводят в заблуждение беспилотный автомобиль, заставляя его свернуть на встречную полосу. Все это примеры, полученные в ходе исследований, и, насколько мне известно, никто еще не разбивал беспилотный автомобиль с помощью враждебного МО.

За враждебным МО, несмотря на название, совсем не обязательно должны стоять чьи-то злые намерения, и оно не ограничивается лабораторными условиями. В настоящее время существуют проекты, целью которых является хакинг систем распознавания лиц, чтобы протестующие граждане да и любые другие люди могли собираться в общественных местах, не опасаясь быть опознанными полицией. Аналогичным образом можно представить себе будущее, в котором страховые компании будут использовать системы ИИ для принятия решений по претензиям. В этом случае врач может хакнуть такую систему методом враждебного МО, чтобы гарантировать одобрение страховки для пациента, который нуждается в определенном лекарстве или процедуре.

Другие успешные хаки подразумевают подачу в систему ИИ определенных входных данных, предназначенных ее изменить. В 2016 г.