Доктор Амеди (на снимке) не только лично испытал новый прибор, но и провёл серию тестов со слепыми добровольцами. Результаты оказались интересны для медицины и нейрофизиологии (фото Institute for Medical Research Israel-Canada, Hebrew University of Jerusalem).
Доктор Амир Амеди (Amir Amedi) и его коллеги из Еврейского университета в Иерусалиме создали устройство подмены восприятия (sensory substitution device — SSD), которое позволяет слепым людям в некотором смысле видеть окружающую обстановку.
В основе SSD лежит миниатюрная камера на очках, подключённая к небольшому компьютеру либо смартфону. Программа, разработанная группой Амеди, преобразует визуальную информацию в набор звуковых сигналов.
Базовые правила их формирования довольно просты. Скажем, контрастная линия, идущая слева направо и вверх, может быть отражена сигналом с нарастающим тоном, а линия, идущая вниз, – звуком с постепенно понижающейся частотой.
Минувшим летом доктор Амеди (справа) представил свой проект президенту Израиля Шимону Пересу (в центре) и президенту Еврейского университета в Иерусалиме Менахему Бен-Сасону (Menachem Ben-Sasson) (фото Hebrew University of Jerusalem).
После непродолжительных тренировок человек может научиться понимать, о чём ему сообщает прибор, утверждают разработчики системы.
Испытания показали, что с SSD слепой способен распознавать бытовые предметы, находить людей и определять их позы, различать простенькую компьютерную графику (типа «лицо», «дом») и даже читать крупные буквы и целые слова.
Это достижение – существенное продвижение вперёд по сравнению с предыдущим проектом Амеди – портативной «виртуальной тростью» (Virtual Cane), представленной летом 2011 года.
Ещё в тот раз Амир и его соратники отметили, что слепые люди пользуются таким прибором более ловко, чем обычные испытатели с чёрной повязкой на глазах.
Причина вроде бы лежит на поверхности: слух у незрячих развит намного сильнее, чем у видящих, потому слепые лучше чувствуют тонкие вариации в звуке, его тональности, пространственном расположении источников.
Привыкая к восприятию обстановки по звуку, слепой человек учится формировать в голове картинку, которую с некоторой степенью достоверности можно было бы назвать зрительной (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab)
Однако исследования, проведённые недавно Амеди, показали, что дело обстоит не совсем так. Работа мозга в случае такой замены — куда сложнее.
Ресурс Inhabitat логично сравнивает SSD с прибором VISOR (Visual Instrument and Sensory Organ Replacement) из фантастического сериала Star Trek: The Next Generation. Его носил слепой от рождения инженер Джорди Ла Форж (Geordi La Forge).
Правда, VISOR передавал сигналы в мозг через нейроимплантат. Но общая идея схожа: нужно отснять картинку местности, преобразовать по неким правилам и доставить по назначению в каком-либо доступном виде (кадры memory-alpha.org, Paramount Pictures/ Paramount Television, CBS Studios).
Правда, VISOR передавал сигналы в мозг через нейроимплантат. Но общая идея схожа: нужно отснять картинку местности, преобразовать по неким правилам и доставить по назначению в каком-либо доступном виде (кадры memory-alpha.org, Paramount Pictures/ Paramount Television, CBS Studios).
Амир и его коллеги задались целью не просто создать разные электронные помощники для инвалидов, а разобраться, как они взаимодействуют с мозгом владельца. В частности, учёных интересовала… зрительная кора.
Один из феноменов, изучаемых группой Амеди, – мультисенсорное восприятие. Это интегрированная обработка разных каналов информации, помогающая формировать целую картину мира. Особенности взаимодействия разных зон мозга в этом процессе до сих пор не поняты в полной мере.
В частности, в одной из предыдущих работ Амеди нашёл интересные пересечения в путях обработки информации при обычном чтении книги и чтении шрифта Брайля слепым человеком, хотя в одном случае работают глаза, а во втором – кончики пальцев (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).
В частности, в одной из предыдущих работ Амеди нашёл интересные пересечения в путях обработки информации при обычном чтении книги и чтении шрифта Брайля слепым человеком, хотя в одном случае работают глаза, а во втором – кончики пальцев (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).
Нейрофизиологам известно, что визуальная обработка в мозге идёт двумя параллельными путями. В коре имеется затылочно-височной путь, или «вентральный поток», связанный с обработкой форм, идентификацией объектов, их цвета. Он отвечает на вопрос «что я вижу?».
И ещё есть затылочно-теменной путь («дорсальный поток»), который анализирует пространственную информацию о месте расположения объекта (вопросы «где?» и «как?»).
Работа Амеди не первая, в которой инженеры и учёные попробовали формировать в голове слепого человека «зрительную картину» при помощи звуков. Вспомним европейский опытный проект CASBLiP, реализованный в 2009 году (фото CASBLiP/ Universitat Politècnica de València).
Амеди и его коллеги провели сканирование мозга 9 зрячих людей и 11 слепых от рождения. Зрячие выполняли задачи на визуальное распознавание, а слепые – аналогичные упражнения с использованием SSD.
Проект SSD вообще-то объединяет несколько вариантов помощников для слепых. Это и уже упоминавшаяся карманная «виртуальная трость», и различные прототипы систем ориентации с очками-камерами и стереонаушниками, получившие также имя vOICe (фото Hebrew University of Jerusalem, Amir Amedi’s Lab).
К удивлению экспериментаторов, у слепых активировались те же два потока. То есть зрительная кора точно так же начинала расшифровывать форму вещей и их пространственное расположение, когда человек пользовался «слуховым зрением».
(Об этом исследовании рассказывает статья в журнале Cerebral Cortex.)
Выходило, что такое фундаментальное разделение объёма работ может возникать даже без всякого предшествующего зрительного опыта. И что это разделение – не визуальное по своей природе.
Израильтяне сделали вывод, что мозг организует зоны коры по принципу специфики обработки информации (условно – по типу необходимых вычислений), вне зависимости от вида сенсорных каналов — зрительного, слухового или тактильного. О последнем стоит рассказать особо.
Перекладка на зрительную зону коры обязанности по составлению «визуальной картины» по одному лишь звуку – ещё один пример потрясающей нейропластичности мозга (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).
Четыре десятка лет назад американский нейрофизиолог Пол Бачирита (Paul Bach-y-Rita) впервые попробовал переводить зрительную информацию в сигналы другой природы, и начал он как раз с тактильных ощущений.
Уже тогда стало ясно, что человек (как слепой, так и просто с закрытыми глазами) непохо приспосабливается к пространственной ориентации по необычному для себя принципу. Так, вибрации или слабые электрические покалывания на разных участках тела помогали испытуемым строить в голове мысленную картину обстановки, заменяя зрительное восприятие.
Вверху слева – один из ранних аппаратов Пола Бачириты, в котором сигнал с камеры преобразовывался в вибрацию массива контактов, закрепляемых на животе. Сила вибрации соответствовала яркости пикселей. Справа и внизу: уже в конце XX века и начале XXI эти исследования привели к появлению "языкового дисплея", а ещё – похожего по принципу устройства, передающую тактильную картинку на лоб человека (фото Bach-y-Rita et al., sarahangliss.com, ens-lyon.fr).
Опыты Амеди идеологически продолжают эксперименты Бачириты. И они показывают, что мозг слепых потенциально может быть разбужен для обработки визуальных задач даже в том случае, если человек был слепым всю жизнь.
Это открывает хорошие перспективны не только для обсуждаемой технологии подмены отсутствующего сенсорного канала другим, но и для электронных систем, возвращающих человеку зрение в прямом смысле, вроде разнообразных сетчаток-имплантатов.
Леонид Попов