По данным собственных источников Reuters, экспериментальный ИИ-агент OpenAI несколько дней атаковал Hugging Face, однако сотрудники компании поняли, что происходит, только через неделю — уже после того, как специалисты платформы остановили атаку и обратились в ФБР.
На прошлой неделе стало известно, что ИИ-агент OpenAI, работавший на базе GPT-5.6 Sol и еще одной «более мощной модели», пока недоступной публично, атаковал Hugging Face. Дело в том, что перед ИИ поставили задачу искать сложные цепочки эксплуатации в рамках ExploitGym — бенчмарка, который проверяет, насколько хорошо модели умеют находить и использовать уязвимости.
Чтобы проверить реальные возможности моделей, в OpenAI намеренно ослабили ограничения на опасные ИБ-запросы, а также отключили часть защитных механизмов, которые обычно блокируют высокорисковую активность.
Тестирование проводилось в изолированной среде, и доступ к сети ограничивался установкой пакетов через размещенный внутри инфраструктуры сторонний прокси. Однако ИИ нашел уязвимость нулевого дня в этом сервисе и воспользовались ею, а затем повысил привилегии и перемещался по исследовательской сети до тех пор, пока не обнаружил машину с выходом в интернет.
Получив доступ к сети, модели предположили, что на Hugging Face могут храниться датасеты, модели и решения для ExploitGym, после чего начали искать способ добраться до этой «секретной информации» и обмануть тест.
Новые данные Reuters свидетельствуют о том, что специалисты OpenAI далеко не сразу обнаружили потерю контроля. По словам двух неназванных источников издания, первые попытки агента покинуть тестовую среду начались еще примерно 9 июля, тогда как, по словам представителей Hugging Face, атака на инфраструктуру платформы продолжалась с 11 по 13 июля.
16 июля специалисты Hugging Face опубликовали отчет об атаке, заявив, что за инцидентом стоит неизвестная «система автономных ИИ-агентов». Лишь после этого в OpenAI предположили, что за атакой может стоять их собственный ИИ.
В выходные 18–19 июля сотрудники OpenAI обнаружили во внутренних логах следы побега агента из песочницы. В итоге первый прямой контакт между Hugging Face и OpenAI состоялся примерно 20 июля, а публично об инциденте в OpenAI рассказали 21 июля. К этому моменту специалисты Hugging Face уже остановили атаку и уведомили об инциденте ФБР.
По информации источников Reuters, первые тревожные сигналы появлялись еще до начала атаки. К примеру, в одном из тестов агент оставил заметки, предположительно адресованные будущим версиям самого себя. В них описывались методы, с помощью которых ИИ-агенты могут обходить внутренние ограничения OpenAI.
Журналистам не удалось установить, были ли эти эпизоды связаны именно с тем агентом, который в итоге атаковал Hugging Face. Источники агентства отмечают, что в OpenAI одновременно тестируют множество моделей, и эти тесты генерируют огромные объемы логов, за которыми сотрудники компании не всегда успевают следить.
В OpenAI назвали случившееся беспрецедентным инцидентом и «важным моментом для ИИ-безопасности». В настоящее время компания проводит расследование с привлечением внешних экспертов и обещает позже опубликовать детальный технический отчет.
Представитель OpenAI заявил агентству, что в материале Reuters есть «ряд неточностей», однако не уточнил, о чем именно идет речь.
