В далеком 1992 году голландский инженер Питер Мейер (Peter Meijer) разработал алгоритм vOICe, который преобразует простые черно-белые картинки в последовательность звуков. Программа сканирует изображение слева направо и для каждого столбца пикселов генерирует звук на соответствующей частоте. Чем выше точка на картинке — тем выше звук. Например, для диагональной линии из левого нижнего в правый верхний угол звук начинается на низкой частоте, а завершается на высокой. Более сложные картинки воспринимаются как беспорядочный шум, но при тренировке в них можно разобраться.
В 2007 году невролог Амир Амеди (Amir Amedi) с коллегами решил испробовать vOICe на слепых от рождения людях. Удивительно, но всего через 70 часов занятий такие люди смогли различать очень сложные объекты на картинках размером 4500 пикселов, например, лица и перекрестки на улицах. И это несмотря на то, что люди никогда ничего не видели в своей жизни. Подключив наголовную камеру к компьютеру и одев наушники, они могли ходить по комнате, ориентируясь исключительно по звуку. Через каждые несколько шагов камера делала фотоснимок, который транслировался в наушники.
После 10 дополнительных часов тренировки слепые люди способны распознавать силуэты людей и повторять их позы.
Сканирование мозговой активности испытуемых показало, что во время прослушивания сгенерированного звука у них активировалась область зрительной коры, словно они действительно видели объект глазами. Эти результаты позволяют пересмотреть традиционные представления о работе мозга. Судя по всему, зрительная кора функционирует не просто как инструмент обработки сигнала со зрительного нерва. Похоже, это система более высокого уровня, которая способна генерировать визуальные образы независимо от формата входящего сигнала. То есть визуальную картинку действительно можно получать через слух, пишет журнал Science.
Недавно группа исследователей под руководством Амеди выпустила усовершенствованную версию vOICe — программу EyeMusic, бесплатное приложение под iPhone. Усовершенствованный алгоритм выдает более приятные звуки и способен передавать информацию о цвете.
