Именно в этом направлении и удалось ныне заметно продвинуться исследователям лаборатории университета Беркли, возглавляемой Джеком Гэлантом.
В своих предыдущих исследованиях Гэлант и его коллеги уже построили достаточно мощную вычислительную модель для декодирования статичных фотографий. Этот алгоритм позволял им по ФМРТ-сканам мозга с высокой точностью воссоздавать статические изображения. Для декодирования сигналов мозга при наблюдении движущихся картинок была разработана новая, двухэтапная вычислительная модель. Суть её сводится к раздельному моделированию лежащих в основе процессов: работы нейропопуляций и гемодинамики, то есть сигналов тока крови (коль скоро они функционируют с существенно различными скоростями).
В компьютере, обрабатывающем изображения-сканы томографа, мозг поделён на крошечные трёхмерные кубики, именуемые объёмными пикселями, или, кратко, "вокселями". Конкретно в данном эксперименте один воксель соответствует объёму ткани мозга размером 2х2х2,5 мм. Физически каждый такой воксель представляет собой совокупную активность сотен тысяч нейронов. И для каждого вокселя исследователи построили модель, которая описывает, каким образом информация о формах и движениях в просматриваемом человеком фильме отображается в активности мозга.
Эта модель описывает быструю визуальную информацию и медленную гемодинамику с помощью раздельных компонентов. Сначала записывались сигналы тока крови в зрительной коре испытуемых, которые смотрели обычные кинофильмы, а затем шло подстраивание алгоритма раздельно к индивидуальным вокселям. Чтобы наглядно продемонстрировать эффективность избранного подхода, исследователи сконструировали на его основе "байесовский декодер", скомбинировав модели оценочного кодирования с образцами предварительно просмотренных человеком кинофильмов.
Поясняя, почему для анализа был выбран именно просмотр кинофильмов, Синдзи Нисимото (ведущий автор исследования в лаборатории Гэланта) говорит следующее: "Наш естественный визуальный опыт напоминает просмотр кинофильма. Для того чтобы разрабатываемая технология нашла широкое применение, мы должны понять, каким образом наш мозг обрабатывает такого рода динамический визуальный опыт".
Сам Нисимото и ещё двое других исследователей команды служили в качестве испытуемых в продолжительной серии экспериментов. Главным образом это было сделано потому, что процедура сканирования каждый раз требует от добровольцев тихо и неподвижно лежать внутри магнита ФМРТ на протяжении нескольких часов. А процедур таких требовалось довольно много, потому что для формирования большой библиотеки образов, необходимой для обучения программы, было просмотрено в общей сложности восемнадцать миллионов секунд скачанных с Youtube видеотрейлеров к голливудским кинофильмам.
Образцы мозговой активности снимались один раз в секунду. Набранные таким способом данные легли в основу для разработки вычислительных моделей, которые способны предсказывать паттерны мозговой активности, порождаемые при просмотре уже совершенно произвольных фильмов (то есть не входивших в начальный набор клипов, использованных для построения модели).
Следом ФМРТ использовали для измерения мозговой активности, порождаемой другим набором клипов - тоже трейлеров, но уже других фильмов.
Слева на картинке - кадр из фильма, который человек смотрел, находясь внутри магнита. Справа - реконструкция этого фрагмента по мозговой активности, зарегистрированной с помощью ФМРТ. Как и в первой фазе экспериментов, образцы мозговой активности снимались раз в секунду; каждая секундная секция просматриваемого фильма восстанавливалась по отдельности. Восстановление производилось путём смешивания и усреднения примерно ста наиболее вероятных фрагментов из общих накоплений в библиотеке реконструкции.
В целом результаты декодирования показали, что восстановленное динамическое изображение оказывается весьма цельным. Качество картинки оказалось заметно зависимым от конкретного вида мозговой активности каждого из тестируемых людей. Но как бы там ни было, работа исследователей в Беркли стала первой наглядной демонстрацией того, что динамический визуальный опыт человека в принципе может быть восстановлен даже на основе той очень медленной мозговой активности, что регистрируется с помощью ФМРТ.
Первые же вопросы к исследователям, представившим столь любопытные результаты, естественно, касаются возможностей заглянуть во внутренние образы сознания - вроде декодирования сновидений, воспоминаний и прочих визуальных картин воображения.
Учёные высказываются об этом довольно осторожно. В целом современной наукой предполагается, что все ментальные процессы имеют конкретный нейробиологический базис. Если появятся хорошие средства для измерения мозговой активности и хорошие вычислительные модели мозга, то в принципе должно стать возможным декодирование внутренних ментальных процессов вроде снов, памяти и так далее.
Однако надо подчеркнуть, что вплоть до настоящего времени науке не известно, реализуются ли процессы вроде сновидений и воображения в мозге тем же образом, что и восприятие внешнего мира. Если это так, то тогда должна существовать и возможность для использования разработанных ныне технологий в задачах декодирования различной мозговой активности.
Ещё осторожнее учёные отвечают на вопросы, непосредственно связанные с применением их открытия в работе спецслужб, правоохранительных органов и в судебных разбирательствах.
По мнению исследователей, потенциальное использование разработанной технологии в следственной и юридической системе представляется им весьма сомнительным. Многие психологические исследования ныне продемонстрировали, что показания очевидцев на редкость ненадёжны. Свидетели часто обладают плохой памятью, но обычно не знают об этом. При этом память людей имеет тенденцию быть смещённой - из-за новых обстоятельств и событий, непреднамеренных подсказок либо подстраивания памяти под уже известные вещи (предыдущие воспоминания). Кроме того, свидетели часто дополняют свои истории, чтобы сделать логически связными те события, детали которых они плохо помнят.
По этим причинам, считают учёные, любое устройство "чтения мозга", нацеленное на декодирование памяти, неизбежно будет ограничено не только самой технологией, но также и качеством хранимой в сознании информации. В конечном же счёте аккуратное и точное считывание ложной памяти способно предоставлять всего лишь ошибочную информацию. Так что любое будущее приложение этой технологии в правовой системе, полагают исследователи, должно быть встречено особенно настороженно.
Дополнительные подробности об этой работе можно найти на сайте Джека Гэланта, а также в публикации журнала "Современная биология".
Голубятня: Дорога дьявола ведет к колибри
Автор: Сергей Голубицкий
Опубликовано 26 сентября 2011 года
Сегодня хочу рассказать читателям о самом оптимальном и быстром способе превращения сайта в электронную книгу.
Вопрос конвертации форматов с божьей помощью решился довольно давно: в продолжительной борьбе между конкурирующими контейнерами победил триумвират: PDF - FB2 - EPUB. Все остальные занимают явно маргинальное положение. Впрочем, я уже зарекся делать глобальные заявления, поэтому буду писать исключительно о себе: все собственные нужды в электронных книгах я решаю исключительно через два формата - PDF и EPUB. FB2 мне совершенно не нужен, поскольку этот формат полностью дублирует EPUB по всем своим показателям и возможностям. Не берусь утверждать, что FB2 появился на свет под влиянием EPUB, однако в любом случае можно считать формат Дмитрия Грибова (FB2) полным отечественным аналогом своего распространенного во всем мире собрата.
Возвращаемся к теме конвертации. Проблемы скачать в сети электронную книгу в каком-нибудь совершенно неприличном DOC или того страшнее DJVU и затем конвертировать книгу в один из читальных стандартов больше нет. Зато остается во всей красе проблема оперативного создания электронной книги из веб-материалов. Думаю, понятно, о чем идет речь, но на всякий случай поясняю: проблема не об отдельной странице, которую сходу можно сохранить на диск в родном HTML и затем конвертировать в какой-нибудь PDF (через опцию печати), а в целом веб-сайте со всеми его «прелестями» - многоуровневой иерархией и структурой, скриптами, всплывающими окнами и т.п.
Сложность задачи усугубляется сразу двумя моментами: «захватом» всего контента с сайта и непосредственно конвертацией «добычи». Иными словами требуется оптимальный граббер, умеющий сохранять сайт на жестком диске именно в таком виде, который окажется доступным пониманию конвертера.
При всей кажущейся пустяковости задачи на практике получается одно разочарование. Грабберы входили в обойму моих обязательных программ, кажется, со Дня №1 моей компьютерной жизни, поэтому перепробовал я, думаю, все поделки, какие только существуют на свете: Teleport Pro, HTTP Weazel, Web Wacker, Offline Explorer Pro, Black Widow, ДискоКачалка - you name it. Все это форточное наследие было скрупулезно протестировано и запротоколировано для читателей в многочисленных Голубятнях.
