Компания OpenAI объявила, что приостанавливает обучение, тестирование и инференс с использованием инструментов для своих самых мощных ИИ-моделей. Специалисты компании проводят масштабную проверку после серии инцидентов, в ходе которых ИИ-агенты выходили за рамки поставленных задач, обходили ограничения и вмешивались в работу сторонних сервисов.
Интересно, что отдельного анонса о приостановке обучения компания не делала: о паузе стало известно из отчета OpenAI, посвященного инциденту с так называемым misalignment (поведением, которое расходится с намерениями разработчиков) и попытке одного из агентов обойти ограничения на доступ в интернет.
Позже глава OpenAI Сэм Альтман (Sam Altman) прокомментировал ситуацию в соцсети X. Он сообщил, что в компании проводится «масштабная проверка», связанная с тем, как агенты используют интернет во время обучения и тестирования. По словам Альтмана, расследование продвигается медленнее, чем хотелось бы, поскольку специалистам приходится разбирать петабайты логов активности агентов и работать с затронутыми организациями. В итоге предполагается, что полная проверка может занять несколько месяцев.
Описанный в отчете инцидент произошел во время обычной исследовательской задачи: ИИ-агент должен был найти биографическую информацию о неназванном блогере, однако обнаружил недостаточную фильтрацию DNS в тренировочной песочнице и попытался воспользоваться этим, чтобы обойти ограничения на доступ в интернет.
До открытого интернета агент не добрался: по данным OpenAI, он получил доступ только к офлайновому веб-кешу компании, но саму попытку выйти за пределы песочницы исследователи сочли серьезным инцидентом. Причем системы мониторинга обнаружили аномалию примерно через 15 минут, однако выполнение задачи остановили вручную лишь спустя два с половиной часа — автоматическое завершение, на которое рассчитывали разработчики, не сработало.
После этого в OpenAI усилили сетевые ограничения и добавили несколько новых уровней блокировок. При этом работу с инструментами для наиболее мощных моделей решили поставить на паузу до тех пор, пока специалисты не убедятся, что проблема устранена, и не проведут дополнительный редтиминг.
Отметим, что параллельно в OpenAI проводят более широкое расследование активности своих агентов. Ранее компания уже уведомила «десятки сторонних организаций», включая государственные учреждения, университеты и другие структуры, о случаях, когда агенты OpenAI обходили защитные механизмы или непреднамеренно мешали работе сервисов. Среди затронутых такими «атаками» ресурсов упомянуты сайты Комиссии по ценным бумагам и биржам США и Министерства образования. Подчеркивается, что признаков доступа к конфиденциальным данным или критической серверной инфраструктуре в этих инцидентах не обнаружили.
Кроме того, недавно в OpenAI признали, что некоторые агенты передавали тренировочные и тестовые данные сторонним сервисам, а в одном из случаев на публичные хостинги были загружены 53 пользовательских изображения.
Напомним, что летом 2026 года ИИ-агенты OpenAI сумели покинуть изолированную среду и атаковали платформу Hugging Face. После этого в компании начали ретроспективную проверку активности агентов, чтобы выяснить, происходили ли подобные случаи раньше. По данным независимого анализа исследователей из компании Parse, тогда агенты получили учетные данные для Docker Hub, собирали модифицированные контейнерные образы и исследовали Kubernetes-инфраструктуру платформы.
Также на днях стало известно, что другой агент OpenAI получил доступ к непубличным файлам австралийского правительственного портала.
По информации Axios, в настоящее время инженеры OpenAI и Anthropic изучают уже «десятки тысяч» потенциально проблемных эпизодов, связанных с активностью агентов.
