Пользователи жалуются, что CAPTCHA в Discord, которую предоставляет компания hCaptcha, заставляет их искать на приведенных фото несуществующие объекты. Например, объект, названный «Yoko», похожий на гибрид улитки и йо-йо, который создан ИИ не существует в реальности.
Как рассказывают журналисты Vice Motherboard, сразу несколько человек пожаловались в социальных сетях на странный объект Yoko, который требовалось найти среди других фото для входа в Discord.
Одновременно с этим другие пользователи обнаружили, что их просят найти изображения куба-головоломки, который тоже создан искусственным интеллектом и не слишком похож на реально существующий предмет. К тому же все объекты в задании выглядят так, будто пришли прямиком из «Зловещей долины».
CAPTCHA для Discord предоставляет компания hCaptcha, и представители Discord сообщили журналистам, что технология, генерирующая эти промпты, «является собственностью стороннего партнера, и Discord напрямую не определяет, что будет представлено пользователям».
В свою очередь, представители hCaptcha объяснили, что произошедшее было «кратким тестом, который увидело небольшое количество людей». Так как суммарно технологию используют сотни миллионов пользователей, даже этот «краткий тест» привел к появлению показанных выше твитов.
Издание отмечает, что hCaptcha позиционирует себя как ориентированную на конфиденциальность альтернативу reCAPTCHA. Согласно сообщению в блоге, датированному 2018 годом, промпты hCaptcha генерируются самими клиентами, которым нужны «высококачественные, созданные человеком, аннотации для их потребностей в сфере машинного обучения».
То есть hCaptcha зарабатывает деньги как на клиентах, вроде Discord, которые покупают профессиональные и корпоративные подписки для запуска сервисов CAPTCHA, так и на клиентах, которые создают промпты. Фактически hCaptcha использует свою CAPTCHA для систем машинного обучения и генеративных-состязательных сетей.
Причем это не первый случай, когда люди замечают появление странных изображений в сервисах hCaptcha и отмечают, что компания, очевидно, обучает ИИ с помощью пользователей. Так, два месяца назад пользователь Reddit заметил, что Discord просит его найти среди изображений людей, играющих в хоккей и гольф, футболистов, явно созданных искусственным интеллектом. В марте другой пользователь Reddit жаловался, что CAPTCHA в Discord стала практически нерешаемой.
«Например, задача “Выберете робота”, где ни одно из изображений не выглядит, как созданное человеком, — писал пользователь FunnerThanUsual в сабреддите Discord. — В итоге я вообще не получаю письмо для подтверждения учетной записи, даже после всех этих прыжков через обручи. Серьезно, блокировать ботов — это нормально, но пытаться обучать ИИ с помощью хреновых изображений CAPTCHA — совсем другое дело».
Журналисты резюмируют, что работа hCaptcha — это яркий пример проблем, которые возникают с системами машинного обучения. Первая из них заключается в том, что ИИ-системы требуют серьезного человеческого участия. Например, как правило, индексирование и категоризация изображений передается аутсорсерам из развивающих стран, чей труд оплачивается крайне плохо.
Другая проблема — дрейф данных (data drift): чем дольше работают системы машинного обучения, тем больше данных им требуется. В конечном счете, они начинают использовать данные, которые сами сгенерировали для самообучения. И системы, которые достаточно долго тренируются на себе, в итоге приходят к тому, что выдают запросы на определение непонятных объектов, вроде Yoko.
