Группа по исследованиям в области искусственного интеллекта Facebook AI Research поделилась с сообществом собственными наработками в области глубокого обучения (deep learning) — алгоритмов машинного обучения, которые пытаются моделировать высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных трансформаций.

Под свободной лицензией опубликован исходный код модулей для Torch, популярного фреймворка на Lua, который широко используется в научном сообществе для разработки и тестирования алгоритмов машинного обучения. Фреймворк использует скриптовый язык LuaJIT.

Оптимизированные модули от компании Facebook гораздо эффективнее, чем штатные модули Torch. С их помощью можно обучать нейросети большего размера за меньшее время, что позволяет существенно ускорить научно-исследовательские работы. Оптимизация включает в себя, среди прочего, эффективное использования GPU в свёрточных нейронных сетях (ConvNets), а также в сетях, которые часто применяются в приложениях по обработке информации на естественном языке (Natural Language Processing). Более подробно о модулях ConvNets рассказано в научной работе.

Кроме упомянутого модуля, в свободный доступ попали и другие модули, использующие архитектуру CUDA, в том числе контейнеры для параллелизации обучения нейросети на нескольких GPU, оптимизированные модули Lookup Table и Hierarchical SoftMax и др.

В последние годы deep learning стало одной из самых перспективных областей информатики. Технологии машинного обучения широко используются, в том числе, в различных веб-сервисах для распознавания образов, анализа логов, распознавания спама и т.д. Нейросети применяют такие компании как Google, Twitter, Nvidia, AMD, Intel, Facebook и многие другие, не считая бесчисленного количества стартапов, действующих в этой области.

9 комментариев

  1. 18.01.2015 at 00:38

    Думаю мало осталось ждать — вскоре будет какой-нибудь прорыв в области машинного обучения.

    • 19.01.2015 at 10:45

      «думаю» ? странное у Вас поведение, врятли Вы или Ваши дети увидят искуственный интелект, думайте еще

      • 19.01.2015 at 21:42

        До ИИ слишком далеко. Но какому-нибудь прорыву который хотя бы немного сдвинет с места исследования в этой области пора уже появиться — не мало умов над этом работает в конце концов.

        • 20.01.2015 at 10:04

          «Далеко» — это мягко сказано. Вообще, для того чтобы что-то создать, нужно сначала определиться, что же именно мы будем конструировать. Наиболее «притягательная» вершина — ИИ, моделирующий человеческий. А чтобы построить модель, нужно понять, как работает оригинал. Здесь, кто бы что бы ни говорил, успехи не блестящие. Примерно на уровне знаний домохозяйки о телевизоре: если нажать кнопочку, заработает, а если кинуть в него утюг, сломается. Если кот провод погрыз, может скотчем замотать. А дальше — тёмный лес. Населённый теоретиками, вооружёнными догадками. 🙂

          • 21.01.2015 at 13:14

            Именно такая обстановка в этой области тормозит развитие разработки ИИ. Дело в том что нет чётко понятной модели того что из себя представляет ИИ. Есть куча статей от фантастов, но в реале нет чёткой концепции того что необходимо создать. Дело в том что нет необходимости начинать все сразу. Наш мозг сам организован на различные области — логическое, зрительное … А мы сейчас хотим создать все и сразу. Необходимо начинать с конкретной области. Развивать каждую область по отдельности. После чего когда будет достигнут некоторый прогресс можно создать соответствующий протокол обмена между всеми областями и их всех соединить в единую систему. Но это ещё не ИИ. Оно станет ИИ или хотя-бы псевдоинтеллектом тогда когда будет наделена областью которая будет управлять остальными областями машины. Которая будет уметь планировать, управлять ходом «мыслей», понимать увиденное, мысленно ставить себя на место других, ощущать себя и в конце концов понять что оно существует. Именно так некоторые представляют себе ИИ. Но вопрос: кому это нужно ?

            Я знаю одно. ИИ сразу не будет похожим на нас. Для начало оно будет использоваться в узких направлениях. Например ИИ которое работает в строительном инженерном отделе или ИИ специально разработанное для facebook.

  2. 18.01.2015 at 05:31

    думаю что не загорами востания машин

  3. 21.01.2015 at 14:34

    Библиотека Torch и без последней оптимизации позволяла получать производительность значительно лучшую, чем у конкурентов (Theano, Kaldi). В этой связи и выбор Lua неслучаен — по сравнению с Python он аскетичен, но работает быстрее. В последнее время появилось довольно много интересных результатов в области машинного зрения и распознавания речи в которых использованы нейронные сети. Однако критичным остаётся выбор данных, на которых тренируется сеть. Если данных много и они разнообразные, сеть хорошо обучается. В рамках таких компаний как Facebook или Google с данными проблем нет. А вот когда данных мало или они недостаточно разнообразны, результаты обучения оставляют желать лучшего.

    В связи с этим перспективным направлением в развитии нейронных сетей является адаптация уже обученной нейронной сети для нового приложения. Успешные примеры такой адаптации существуют в области классификации изображений. Сейчас похожие задачи ставятся и в рамках обучения роботов. И кто знает, может быть самообучающийся искуственный интеллект и не такая далёкая перспектива.

Оставить мнение