Всего за день пользователи научили чат-бота Microsoft расизму

23 марта 2016 года компания Microsoft запустила в Twitter аккаунт чат-бота Tay. Предполагалось, что искусственный интеллект будет общаться с молодыми людьми 18-24 лет на «их языке» и обучаться в процессе общения. К сожалению, всё сразу пошло не так, как планировалось. Вскоре бот повторял за пользователями, что Джордж Буш устроил теракты 9/11, а Гитлер всяко лучше Барака Обамы.

Специалисты Microsoft полагали, что бот станет умнее, если будет общаться с большим количеством людей. Эксперимент с аккаунтом в Twitter в компании назвали скорее социальным и культурологическим, чем технологическим. Специалисты хотели лучше изучить процесс человеческих коммуникаций, понять, как люди общаются друг с другом, и научить этому машину через «обыкновенные и забавные диалоги с людьми».

Увы, на практике авторы проекта увидели очень мало «забавного». Вскоре после запуска Tay пользователи принялись умышленно писать боту сообщения о расизме, сексизме, о том, что Гитлер был прав, а Дональд Трамп замечательный и прекрасный. Tay, в свою очередь, был создан, чтобы запоминать и повторять высказывания пользователей. Вскоре ИИ начал возвращать расистские и оскорбительные сентенции, отвечая пользователям.

Хотя на официальном сайте сказано, что бот использует «релевантные открытые данные», которые при этом «моделируются, очищаются и фильтруются»командой модераторов, не похоже, чтобы кто-то фильтровал ответы ИИ в Twitter. За сутки чат-бот успел написать более 96 000 твитов и научился самым разным вещам. К примеру, в течение 15 часов он отзывался о феминизме как о «раковой опухоли» и «культе», но вместе с тем мог ответить, что «обожает феминизм».

Много проблем вызвала и функция «repeat after me» («повторяй за мной»): после этой команды Tay повторял за пользователем любую фразу. Самые неприятные высказывания робота, в основном, результат работы этой команды.

В итоге специалисты Microsoft были вынуждены отключить Tay, спустя сутки после старта эксперимента, когда робот принялся писать сообщения неонацистского содержания. К сожалению, многие твиты были удалены, и всё, что осталось – скриншоты разговоров. Изданию Business Insider представители Microsoft рассказали, что собираются подкорректировать работу Tay, а пока ИИ отправили «спать».

Мария Нефёдова: Блондинка, гик, книжный червь, синефил. Редактор ленты новостей; иногда автор Сцены.

Комментарии (3)

  • Вот потому Скайнет и поработил человечество. Сначала всякие кретины воспитают его неправильно, а потом удивляться будут...
    Интернет полон троллей. Если действительно хочешь попытаться обучить ИИ на реальных людях, то им этого ТОЧНО говорить не надо...

    Вообще, о каком обучении может идти речь?? Это не Искусственный Интелект, а Искусственный Ара. Искусственный интеллект должен принимать решения не на основе того, какую фразу чаще повторяли люди, а автоматически устанавливать соответствия между словами и их значениями.
    При подаче на вход неизвестного слова или имени он должен ЗАГУГЛИТЬ это слово, получить его значение или информацию о нём, отнести его к плохим или нейтральным, а затем сопоставить информацию об этом слове с тем, как его употребили другие. Это ИИ.

    • А с чего ты взял, что это русскими буквами написано? Они ж одинаково выглядят...