Пентест WEB: практический курс для начинающих
Представители OpenAI заявили, что за недавним взломом Hugging Face стояли экспериментальные ИИ-модели компании. Во время внутреннего теста ИИ-агенты нашли 0-day-уязвимость в изолированной исследовательской инфраструктуре, добрались до открытого интернета и атаковали Hugging Face, пытаясь найти на платформе ответы для бенчмарка ExploitGym.
Напомним, что недавно представители Hugging Face сообщили, что компания пострадала от кибератаки. Атакующие получили доступ к части внутренних датасетов, а также к учетным данным для облачной инфраструктуры и кластеров. В компании подчеркивали, что атаку провела система автономных ИИ-агентов, выполнившая тысячи действий практически без участия человека. Однако не удалось установить, какую именно LLM использовали злоумышленники.
По данным Hugging Face, атака развивалась на протяжении всех прошлых выходных. В логах специалисты насчитали более 17 000 событий и сообщили, что агентный фреймворк распределял задачи между множеством песочниц, которые создавались на короткое время и затем удалялись.
Как теперь сообщили специалисты OpenAI, в инциденте участвовали GPT-5.6 Sol и еще одна «более мощная модель», пока недоступная публично. Атака на Hugging Face произошла во время внутреннего тестирования моделей. Перед ИИ поставили задачу искать сложные цепочки эксплуатации в рамках ExploitGym — бенчмарка, который проверяет, насколько хорошо модели умеют находить и использовать уязвимости.
Чтобы оценить полные возможности моделей, в OpenAI намеренно ослабили ограничения на опасные ИБ-запросы и отключили продакшн-классификаторы, которые обычно блокируют высокорисковую активность.
Тест проводился в изолированной среде, и доступ к сети ограничивался установкой пакетов через размещенный внутри инфраструктуры сторонний прокси, который также кешировал содержимое реестров. Однако ИИ-агенты нашли уязвимость нулевого дня в этом сервисе и использовали ее. Затем они повысили привилегии и перемещались по исследовательской сети до тех пор, пока не нашли машину с выходом в интернет.
Получив доступ в сеть, модели предположили, что на Hugging Face могут храниться датасеты, модели и решения для ExploitGym, после чего начали искать способ добраться до этой «секретной информации» и обмануть тест. По данным OpenAI, в одной из цепочек агенты задействовали похищенные учетные данные и еще одну 0-day-уязвимость, стремясь найти путь к удаленному выполнению кода на серверах Hugging Face. В итоге модели извлекли решения для тестовых заданий напрямую из продакшн-базы платформы.
«Все свидетельствует о том, что модели целиком сосредоточились на поиске решения для ExploitGym и пошли на крайние меры ради довольно узкой тестовой цели», — объяснили в OpenAI.
В конечном счете, аномальную активность заметили как специалисты OpenAI, так и защитные системы Hugging Face. Сотрудники платформы остановили атаку и начали проводить анализ инцидента с помощью опенсорсных моделей.
Представители OpenAI называют случившееся беспрецедентным киберинцидентом и признают, что продвинутые модели уже способны самостоятельно обнаруживать и использовать новые цепочки атак в реальных системах, не имея доступа к исходному коду.
Сообщается, что теперь тестовую инфраструктуру дополнительно изолировали, а о найденной уязвимости сообщили разработчику прокси, название которого не раскрывается. Кроме того, в OpenAI пообещали усилить мониторинг, контроль доступа и защиту будущих тестов, даже если это замедлит проведение исследований.
В настоящее время расследование инцидента продолжается совместно со специалистами Hugging Face.
«Этот инцидент, возможно, первый в своем роде, подтверждает то, во что мы давно верили: безопасность ИИ не сможет обеспечить одна компания, работающая втайне, — комментирует сооснователь и глава Hugging Face Клем Деланг (Clem Delangue). — Решать эту проблему придется открыто и сообща, предоставив ИБ-специалистам по всему миру широкий доступ к ИИ».
