«Как звучит этот цвет?» — для большинства из нас этот вопрос покажется по меньшей мере странным, но не для Нила Харбиссона (Neil Harbisson), ирландского исследователя, художника и первого официального киборга, родившегося с ахроматопсией (полной неспособностью различать цвета). С помощью специальной антенны и чипа, установленного на затылке, Нил смог научиться свободно различать до 360 цветов и вполне неплохо устроился в этом мире. Однако что делать тем, кто, в отличие от Нила, полностью слеп?

Алгоритм работы vOICe
Алгоритм работы vOICe

Двадцать два года назад голландский инженер Петер Мейер (Peter Meijer) начал работу над исследовательским проектом vOICe. Он преобразует простые черно-белые картинки в последовательность звуков. Программа сканирует изображение слева направо и для каждого столбца пикселей генерирует звук на соответствующей частоте. Чем выше точка на картинке — тем выше звук. Например, для диагональной линии из левого нижнего в правый верхний угол звук начинается на низкой частоте, а завершается на высокой. Более сложные картинки воспринимаются как беспорядочный шум, но при тренировке в них можно разобраться.

Современная хардварная реализация vOCIe
Современная хардварная реализация vOCIe
 

В чем идея?

В 2007 году невролог Амир Амеди (Amir Amedi) с коллегами решил испробовать vOICe на слепых от рождения людях. Удивительно, но всего через 70 часов занятий они смогли различать очень сложные объекты на картинках размером 4500 пикселей, например лица и перекрестки на улицах, — а ведь эти люди никогда ничего не видели в своей жизни. Подключив наголовную камеру к компьютеру и надев наушники, они могли ходить по комнате, ориентируясь исключительно по звуку. Через каждые несколько шагов камера делала фотоснимок, который транслировался в наушники. После десяти дополнительных часов тренировки слепые люди способны распознавать силуэты людей и повторять их позы.

 

WWW

  • Установить EyeMusic на iOS можно из App Store
  • Сайт проекта vOICe

 

Где поиграться?

Недавно группа исследователей под руководством Амеди выпустила усовершенствованную версию vOICe — программу EyeMusic, бесплатное приложение под iPhone. Усовершенствованный алгоритм выдает более приятные звуки и способен передавать информацию о цвете. В основе работы программы лежит усовершенствованный алгоритм, способный различать не только положение пикселей по осям X и Y, но и цвета. Программа поддерживает как реалтаймовую обработку с камеры, так и загрузку изображений из фотоальбомов.3

Котейка звучит куда милее, чем Heartbleed
Котейка звучит куда милее, чем Heartbleed

В качестве тренировочных изображений (для привыкания к подобному способу восприятия информации) программа содержит генератор простейших 2D-объектов. Как только ты научишься безошибочно их различать на слух, можно переходить к более сложным объектам. Только не забудь перед началом работы откалибровать уровни освещенности и насыщенности.

У EyeMusic множество настроек и опций для калибровки алгоритма под конкретную обстановку
У EyeMusic множество настроек и опций для калибровки алгоритма под конкретную обстановку

 

  • Подпишись на наc в Telegram!

    Только важные новости и лучшие статьи

    Подписаться

  • Подписаться
    Уведомить о
    0 комментариев
    Межтекстовые Отзывы
    Посмотреть все комментарии