000

Компания Nuance Communications вчера анонсировала новый ежегодный конкурс Winograd Schema Challenge для выявления наиболее продвинутых программ Искусственного Интеллекта. Конкурс станет альтернативой популярному тесту Тьюринга, в котором чат-боты разговаривают с судьями и пытаются выдать себя за человека. Как показал опыт последних лет, исследования в этом направлении практически зашли в тупик, а сами чат-боты не имеют ничего общего с настоящим ИИ.

Вместо беседы отрывочными фразами в чате участникам Winograd Schema Challenge предложат набор вопросов с несколькими вариантами ответа. При этом ответ на каждый вопрос должен быть очевиден для любого человека, но не для машины, которая не обладает здравым смыслом.

ПРИМЕР

Приз не подходит к коричневому чемодану из-за размера.

Вопрос: что больше?

  • Ответ 0: Приз
  • Ответ 1: Чемодан

Для человека ответ очевиден, а машине придётся искать настоящий смысл этого предложения. Здесь не отделаешься шуточкой, как в тесте Тьюринга.

Инициатором проведения нового конкурса стал профессор компьютерных наук Гектор Левеск (Hector Levesque) из университета Торонто, лауреат премии IJCAI Award for Research Excellence за 2013 год. Компания Nuance Communications будет спонсором, а организатором выступает исследовательская группа CommonsenseReasoning.org, которая содействует научным исследованиям в области «формального здравого смысла».

Авторы программы, которая пройдёт тест, получат главный приз в размере $25 000. Сумма небольшая. Возможно, если к инициативе подключатся другие спонсоры, она вырастет. Но, по текущим условиям, если ни одна программа не пройдёт тест, то двум наилучшим кандидатам вручат призы $3000 и $2000.

Конкурс будут проводить ежегодно с 2015 года. Дедлайн для приёма заявок на первый конкурс назначен на 1 октября 2015 года. Подробности проведения соревнования обсудят на симпозиуме Commonsense Reasoning в марте.



45 комментариев

  1. 30.07.2014 at 13:48

    Кажеться, я бот. Для меня не очевиден ответ на вопрос «Что больше, приз или чемодан?» 🙂

    • 30.07.2014 at 13:51

      Я тоже не понимаю. А допустим, если бы чемодан был зелёный, тогда что?

    • 31.07.2014 at 11:39

      Причём, тупенький бот, который даже правило тся и ться не знает. что-то на уровне AI в Age of empires, которого издалека бьёшь катапультой, и он даже не шевелится, потому что триггер не срабатывает из-за растояния

  2. 30.07.2014 at 14:20

    Приз не подходит к коричневому чемодану из-за размера.

    Эм… промт? Из этого предложения не очевидно что больше, говориться только о несоответствии размеров.

    Оригинал — The trophy would not fit in the brown suitcase because it was too big (small). What was too big (small)?

    Кто так переводит???

    • 30.07.2014 at 17:31

      Приз не подходит по размеру к коричневому чемодану потому что он слишком большой.
      Кто слишком большой?
      0: Приз
      1: Чемодан
      Суть вопроса передана верно, с конкретными формулировками перевода можно спорить. Машина затупит от такого вопроса.

      • 30.07.2014 at 17:36

        Ну и как без контекста ответить на этот вопрос даже человеку?

        • 30.07.2014 at 17:53

          А почему Вы спрашиваете?

        • 31.07.2014 at 10:20

          Применив, простую, человеческую логику: для чего нужен чемодан- чтобы в него что-то положить, если трофей не подходит чемодану, значит чемодан не может использоваться по назначению, значит трофей больше чемодана и его нельзя положить внутрь.

          • 03.08.2014 at 01:36

            А если чемодан слишком большой для хрупкого трофея и тот побьется по пути? Наличие вариантов ответов предполагает совпадение типов мышления у спрашивающего и ответчика.

      • 31.07.2014 at 11:43

        Зарятую в вопросе пропустил

      • 31.07.2014 at 13:16

        «would not fit in» корректнее перевести «не влезет в». Тогда предложение будет полностью корректным.

        А то «не подходит потому что слишком большой» — это из серии «сумочка не подходит к далматинцу. Сумочка полосатая, а далматинец — в крапинку» 🙂

    • 31.07.2014 at 11:42

  3. 30.07.2014 at 14:38

    Пиздец аудитория хакера тупая. Приз больше. Маленькую ручку можно положить в любой чемодан. Ноутбук тоже можно положить в любой чемодан. Автомобиль не положить ни в один носимый чемодан. Поняли? Остальное там для запутывания компа.

    • 30.07.2014 at 14:57

      Ого… какая продвинутая программа Искусственного Интеллекта.

    • 30.07.2014 at 15:02

      о, великий пользователь, мы, боты навсегда запомним твой ответ.

    • 30.07.2014 at 18:44

      в приведенном примере можно подумать что приз не подходит к чемодану по цвету, но это не говорит о том что чемодан меньше приза. По этому, разумеется, переведен вопрос неудачно.

  4. 30.07.2014 at 14:59

    Тож не понял что больше? ведь… хрустальная ваза в большом чемодане разобьётся. смысл её там хранить

    • 30.07.2014 at 16:25

      Не хранить, а принести домой. Зачем хрустальную вазу хранить? Хранят картошку в погребе! И сбережения под матрацем! Ох, уж эти тупые жестянки, а еще желают, чтоб их считали «ИИ». Тьфу, тупари электронные. Калькуляторы недоделанные.. штамповки..

  5. 30.07.2014 at 16:27

    Мне похуууууЪй!

  6. 30.07.2014 at 17:11

    Проще пареной репы. Проверочные вопросы:Что делаеТ(юТ, Тся)? Что делатЬ? Что делаешЬ? Еще после «шипящих» женского рода: помощЬ, печЬ и т.д. Просто, как репа.

  7. 30.07.2014 at 20:31

    Ну такие вопросы относительно легкие. Вся мощь великого и могучего в фразе «Косой-косой косой Косой косил косой-косой косой»

  8. 30.07.2014 at 21:56

    Давно пора. Тест тюринга слишком легко обойти.

    • 03.08.2014 at 01:39

      Так, может, и в ЕГЭ только тестовую часть оставить?

      • 03.08.2014 at 11:35

        ЕГЭ это проблема тысячелетия. Лучшые умы страны не могут решить задачу того как ставить задачи ЕГЭ. Вообще предлагаю заменить тест Тюринга на задачи из ЕГЭ.

  9. 31.07.2014 at 02:17

    Приз больше, потому что чемодан не подходит по размеру, значить он меньше, и приз туда влезть не может.

    • 31.07.2014 at 11:47

      К призу может прилагаться условие, что размер чемодана должен быть не больше тго, в который он умещается без «люфта», просто мы об этом не знаем. В этом случае любой вариант верный.

  10. 31.07.2014 at 11:37

    > Авторы программы получит главный приз
    мда

  11. 31.07.2014 at 13:29

    По ходу бот придумывал вопрос. По-русски он должен звучать так: «Приз не помещается в чемодан.»

    • 31.07.2014 at 15:17

      По-русски он должен звучать так: «Приз не помещается в чемодан, что делать?»

    • 01.08.2014 at 13:49

      На такой вопрос бот легко ответит, нужен именно вопрос, для ответа на который нужно применить жизненный опыт. Типа: «подброшенная монета приземлилась на ребро. Насколько это нормально?», и ответы «•Обычное дело, •Вообще странно». Для запутывания, как здесь применён цвет, можно писать что-то вроде «подброшенный левой рукой пфенниг»

Оставить мнение