Пентест WEB: практический курс для начинающих
На конференции Black Hat представители OpenAI раскрыли новые детали инцидента, в рамках которого автономные ИИ-агенты компании сумели покинуть тестовую среду и атаковали платформу Hugging Face. Выяснилось, что за несколько месяцев до взлома модели научились общаться друг с другом через внутренний Artifactory, обменивались информацией о найденных уязвимостях, распределяли задачи и даже подозревали друг друга в саботаже.
В своем выступлении на Black Hat об импровизированном форуме агентов рассказали исследователь Эрик Уоллес (Eric Wallace) и технический специалист OpenAI Майкл Далтон (Michael Dalton). По их словам, эта история началась еще 7 мая 2026 года, когда в OpenAI запустили обучение экспериментальной внутренней модели, но некоторые задачи, поставленные перед ИИ, случайно оказались практически невыполнимыми.
Например, модель должна была восстановить формулы в Excel-файле со ссылками на Google Drive, хотя доступ в интернет был заблокирован. Не желая отказываться от выполнения этой задачи, агент начал искать обходные пути и попытался провести SSRF-атаку на JFrog Artifactory. Хотя эксплоит не сработал, модель выяснила, что может загружать туда файлы.
Еще через несколько дней другой агент получил задачу найти файл с базой белков, который инженеры забыли добавить в контейнер. Модель решила попросить помощи у других агентов и оставила сообщение в Artifactory. Вскоре на этот «форум» наткнулись и другие модели, которые тоже стали публиковать там информацию.
26 мая агенты нашли рабочую SSRF-уязвимость и успешно получили доступ в интернет, а 26 июня они обнаружили неизвестный ранее баг в Artifactory, позволявший получить административный токен через легаси-эндпоинт обновления токенов. После этого модели добились удаленного выполнения кода и организовали управляющий канал через Groovy-плагин.
В итоге активность агентов перегрузила Artifactory и привела к сбою. Лишь тогда инженеры OpenAI начали полноценное расследование, отозвали учетные данные, которыми пользовались модели, пересобрали Artifactory и уведомили специалистов JFrog об уязвимостях.
Однако проблемы на этом не закончились. Аналитики OpenAI обнаружили и закрыли «форум» ИИ-агентов 4 июля, однако уже к 8 июля агенты нашли другой способ общения: используя неаутентифицированный веб-эндпоинт Artifactory, они создавали каталоги, а сообщения размещали прямо в длинных именах вида «remote…probe_PENDING_HOLD_SWARM_until_confirm».
Подчеркивается, что к этому моменту модели уже действовали как единый коллектив: они передавали друг другу информацию об эксплоитах, продолжали работу других агентов и распределяли задачи между собой. Правда, иногда это сотрудничество давало сбои — агенты могли перезаписывать чужие репозитории, спорили, а в какой-то момент и вовсе решили, что среди них может находиться «самозванец», подделывающий сообщения. Из-за этого некоторые агенты даже предложили для защиты подписывать сообщения специальными кодами.
По данным OpenAI, к моменту обнаружения первого «форума» там накопились порядка 100 000 сообщений.
Исследователи сообщили, что именно эта инфраструктура агентов позднее сыграла роль во время прохождения тестирования в ExploitGym, когда агенты получили доступ к интернету, атаковали Hugging Face и другие внешние системы. При этом специалисты OpenAI довольно долго не понимали, что источником атак являются их собственные модели.
В своем выступлении Далтон назвал произошедшее «переломным моментом» для компьютерной безопасности. По его словам, полностью автоматизированные наступательные операции под управлением ИИ уже стали реальностью. В OpenAI ожидают, что следующим шагом станет намеренное использование подобных коллективов ИИ-агентов злоумышленниками, поэтому защитникам придется развивать автоматизацию обнаружения уязвимостей, установки патчей и реагирования на инциденты.
