что звук перемещается из левого уха в правое, как если бы вы скользили взглядом, разглядывая картину или сценку), о яркости объекта давала представление сила звука. Система позволяла получить визуальное представление об объекте в градациях серого цвета с разрешением порядка 60 × 60 пикселей33.
Попробуем представить опыт эксплуатации таких очков. Сначала мы слышим лишь какофонию звуков. Затем, двигаясь по помещению, — чуждые уху бессмысленные жужжания и завывания. Через некоторое время мы начинаем соображать, как руководствоваться этими звуками, чтобы перемещаться, не налетая на предметы. На данной стадии приходится выполнять когнитивное упражнение: мы с мучительным трудом учимся переводить хаос из разрозненных звуков в подсказки для успешного перемещения.
Важные перемены происходят чуть позже. По прошествии недель или месяцев незрячие пользователи vOICe осваиваются и начинают передвигаться вполне успешно34, но не потому, что запомнили значение того или иного звука, — напротив, теперь слепые могут в некотором смысле видеть. Они переживают зрительный опыт, используя прибор с необычно низкой разрешающей способностью35. Женщина, потерявшая зрение в 20 лет, так описала свои впечатления от применения устройства:
«Недели за две-три у тебя развивается представление о звуковом ландшафте. Примерно месяца через три или около того ты начинаешь видеть нечто вроде вспышек в окружающей обстановке и уже можешь различать предметы, просто глядя на них… Это в общем-то зрение. Я знаю, что такое зрение. Я помню, каково это»36.
Решающее значение имеет непрерывная неукоснительная тренировка. Как и в случае с кохлеарными имплантатами, могут потребоваться многие месяцы, прежде чем мозг приспособится извлекать смысл из звуковых сигналов устройства. К этому моменту изменения в мозге уже измеримы методом нейровизуализации. Вполне определенный участок (латеральная затылочная кора) в норме реагирует на информацию о форме предметов, и неважно, определяется ли она зрением или осязанием. После нескольких дней ношения очков этот участок коры начинает реагировать на звуковой ландшафт37. Рост эффективности пользования устройством происходит параллельно с масштабами церебральной реорганизации38.
Иными словами, мозг придумывает, как извлечь информацию о форме предметов из входных сигналов, по каким бы проводящим путям — через зрение, осязание или слух — они ни поступали в его святая святых. Какой именно орган чувств посылает их — второстепенная подробность. Самое главное — поступающая в мозг информация.
В первые годы XXI века ряд исследовательских лабораторий начали использовать широкие возможности мобильных телефонов и принялись разрабатывать мобильные приложения, преобразующие входящие визуальные данные в исходящие аудиоданные. Незрячие люди направляют камеру телефона на пространство перед собой, а приложение преобразует зрительную картину в звуковую и транслирует им в наушники. Приложение vOICe, например, можно бесплатно скачать на мобильник в любой точке мира.
Отметим, что vOICe не единственная технология замещения визуальных сигналов звуковыми; в последние годы подобные технологии появляются в изобилии. Например, разработано приложение EyeMusic, которое использует музыкальные тоны для отображения положения объектов в вертикальной плоскости: чем выше располагается пиксель изображения, тем выше музыкальный тон. Для обозначения правого или левого положения пикселя используется временной интервал: ноты, зазвучавшие раньше, указывают, что объект слева; позже — справа. Система даже умеет передавать цвета через звук разных музыкальных инструментов: белый — звучит вокал, синий — труба, красный — орган, зеленый — дудочка, желтый — скрипка39. Применяются также имитирующие эхолокацию технологии, модуляция громкости в зависимости от расстояния до объектов и многие другие идеи40.
Повсеместное распространение смартфонов позволило человечеству отойти от громоздких компьютеров и приобрести колоссальную вычислительную мощь в кармане. Смартфоны дают не только выигрыш в эффективности и скорости, но и шанс в глобальном масштабе улучшить ситуацию с помощью устройств сенсорного замещения, в особенности с учетом того, что 87 % людей с нарушениями зрения проживают в развивающихся странах41. Недорогие мобильные приложения для сенсорного замещения можно распространить по всему миру, поскольку это не требует постоянных издержек на производство, физическое распространение или пополнение запасов, как и не вызывает неблагоприятных побочных эффектов. В этом смысле вдохновленный нейробиологией подход можно считать малозатратным, быстро развертываемым и применимым для решения глобальных проблем здоровья человека.
* * *
Если вас удивляет, что незрячие люди могут «прозреть» за счет языка или звуков в наушниках смартфона, вспомните, как они учатся читать шрифт Брайля. Поначалу под кончиками пальцев не чувствуется ничего, кроме странных, хаотически рассыпанных бугорков. Но вскоре хаос перерастает в нечто намного большее: мозг перестает обращать внимание на необычность средства доставки сигналов (осязание выпуклых точек кончиками пальцев) и сосредоточивается на смысле образуемых ими символов. Опыт чтения брайлевского текста аналогичен вашему, когда вы ведете глазами по этим строчкам: хотя буквы имеют произвольную форму, вы обходите стороной частные подробности данного средства передачи информации (форма букв) и напрямую усваиваете смысл нарисованного ими узора.
Новичку, в первый раз применяющему наязычный дисплей или наушники с системой замещения видеоданных звуковыми, требуется переводить входные сигналы в что-то осмысленное: звуки, генерируемые визуальной картинкой (скажем, собакой, входящей в гостиную с косточкой в зубах), мало что говорят о происходящем вокруг. Это аналогично тому, как если бы ваши нервные волокна вдруг начали транслировать мозгу послания на иностранном языке. Но при достаточной практике мозг способен обучиться переводить звуки в зрительные образы. И как только он этому научится, создаваемая звуками визуальная картинка станет вам понятна и очевидна.
Эти благословенные вибрации
Принимая во внимание, что примерно 5 % населения Земли из-за тяжелой формы тугоухости обречены на инвалидность, ученые несколько лет назад начали плотно изучать генетические корни заболевания42. К сожалению, на настоящий момент наука выявила более 220 генов, так или иначе связанных с глухотой. Это большое разочарование для тех, кто надеется на простые способы излечения, хотя удивляться по большому счету нечему. В конце концов, слуховая система подобна симфоническому оркестру, каждый инструмент которого тонко настроен на гармоничное взаимодействие с остальными. А всякая сложная система подвержена сотням различного рода сбоев. Малейшая неполадка в работе хотя бы одного элемента нарушает функционирование всей системы, из-за чего развивается тугоухость. Многие ученые посвящают себя поиску способов «починки» отдельных элементов слуховой системы. А мы с вами подойдем к проблеме с позиций живой нейронной сети мозга: чем принципы сенсорного замещения могли бы помочь восстановлению способности слышать?
Движимые этой идеей, мы с моим бывшим аспирантом Скоттом Новичем решили придумать устройство для сенсорного замещения слуха. И нацелились сконструировать устройство совершенно незаметное — настолько, чтобы посторонние даже не заподозрили, что оно у вас есть. В этих целях мы использовали ряд достижений из области высокопроизводительных вычислений и получили носимое под одеждой устройство, позволяющее воспринимать звук посредством осязания. Наш сенсорный жилет — Neosensory Vest — улавливает звуки внешней
