23 марта 2016 года компания Microsoft запустила в Twitter аккаунт чат-бота Tay. Предполагалось, что искусственный интеллект будет общаться с молодыми людьми 18-24 лет на «их языке» и обучаться в процессе общения. К сожалению, всё сразу пошло не так, как планировалось. Вскоре бот повторял за пользователями, что Джордж Буш устроил теракты 9/11, а Гитлер всяко лучше Барака Обамы.
https://twitter.com/TayandYou/status/712613527782076417
Специалисты Microsoft полагали, что бот станет умнее, если будет общаться с большим количеством людей. Эксперимент с аккаунтом в Twitter в компании назвали скорее социальным и культурологическим, чем технологическим. Специалисты хотели лучше изучить процесс человеческих коммуникаций, понять, как люди общаются друг с другом, и научить этому машину через «обыкновенные и забавные диалоги с людьми».
Увы, на практике авторы проекта увидели очень мало «забавного». Вскоре после запуска Tay пользователи принялись умышленно писать боту сообщения о расизме, сексизме, о том, что Гитлер был прав, а Дональд Трамп замечательный и прекрасный. Tay, в свою очередь, был создан, чтобы запоминать и повторять высказывания пользователей. Вскоре ИИ начал возвращать расистские и оскорбительные сентенции, отвечая пользователям.
"Tay" went from "humans are super cool" to full nazi in <24 hrs and I'm not at all concerned about the future of AI pic.twitter.com/xuGi1u9S1A
— Gerry (@geraldmellor) March 24, 2016
Хотя на официальном сайте сказано, что бот использует «релевантные открытые данные», которые при этом «моделируются, очищаются и фильтруются»командой модераторов, не похоже, чтобы кто-то фильтровал ответы ИИ в Twitter. За сутки чат-бот успел написать более 96 000 твитов и научился самым разным вещам. К примеру, в течение 15 часов он отзывался о феминизме как о «раковой опухоли» и «культе», но вместе с тем мог ответить, что «обожает феминизм».
Много проблем вызвала и функция «repeat after me» («повторяй за мной»): после этой команды Tay повторял за пользователем любую фразу. Самые неприятные высказывания робота, в основном, результат работы этой команды.
В итоге специалисты Microsoft были вынуждены отключить Tay, спустя сутки после старта эксперимента, когда робот принялся писать сообщения неонацистского содержания. К сожалению, многие твиты были удалены, и всё, что осталось – скриншоты разговоров. Изданию Business Insider представители Microsoft рассказали, что собираются подкорректировать работу Tay, а пока ИИ отправили «спать».
