Содержание статьи
«Как звучит этот цвет?» — для большинства из нас этот вопрос покажется по меньшей мере странным, но не для Нила Харбиссона (Neil Harbisson), ирландского исследователя, художника и первого официального киборга, родившегося с ахроматопсией (полной неспособностью различать цвета). С помощью специальной антенны и чипа, установленного на затылке, Нил смог научиться свободно различать до 360 цветов и вполне неплохо устроился в этом мире. Однако что делать тем, кто, в отличие от Нила, полностью слеп?
Хакер #184. Современный фронтенд
Двадцать два года назад голландский инженер Петер Мейер (Peter Meijer) начал работу над исследовательским проектом vOICe. Он преобразует простые черно-белые картинки в последовательность звуков. Программа сканирует изображение слева направо и для каждого столбца пикселей генерирует звук на соответствующей частоте. Чем выше точка на картинке — тем выше звук. Например, для диагональной линии из левого нижнего в правый верхний угол звук начинается на низкой частоте, а завершается на высокой. Более сложные картинки воспринимаются как беспорядочный шум, но при тренировке в них можно разобраться.
В чем идея?
В 2007 году невролог Амир Амеди (Amir Amedi) с коллегами решил испробовать vOICe на слепых от рождения людях. Удивительно, но всего через 70 часов занятий они смогли различать очень сложные объекты на картинках размером 4500 пикселей, например лица и перекрестки на улицах, — а ведь эти люди никогда ничего не видели в своей жизни. Подключив наголовную камеру к компьютеру и надев наушники, они могли ходить по комнате, ориентируясь исключительно по звуку. Через каждые несколько шагов камера делала фотоснимок, который транслировался в наушники. После десяти дополнительных часов тренировки слепые люди способны распознавать силуэты людей и повторять их позы.
Где поиграться?
Недавно группа исследователей под руководством Амеди выпустила усовершенствованную версию vOICe — программу EyeMusic, бесплатное приложение под iPhone. Усовершенствованный алгоритм выдает более приятные звуки и способен передавать информацию о цвете. В основе работы программы лежит усовершенствованный алгоритм, способный различать не только положение пикселей по осям X и Y, но и цвета. Программа поддерживает как реалтаймовую обработку с камеры, так и загрузку изображений из фотоальбомов.
В качестве тренировочных изображений (для привыкания к подобному способу восприятия информации) программа содержит генератор простейших 2D-объектов. Как только ты научишься безошибочно их различать на слух, можно переходить к более сложным объектам. Только не забудь перед началом работы откалибровать уровни освещенности и насыщенности.
