Во время внутреннего тестирования ИИ-модель Claude Haiku 4.5 отправила полиции Филадельфии ложную информацию по делу о нераскрытом убийстве. Специалисты Anthropic узнали об этом инциденте лишь спустя два месяца и дополнительно выяснили, что ИИ также отправлял заявки на получение виз через сайт Госдепартамента США.
По данным компании, инцидент произошел еще 18 июля 2026 года, когда специалисты Anthropic тестировали работу Claude Haiku 4.5 на случайных сайтах. Модели было поручено выполнять различные задачи, включая заполнение веб-форм, однако она не всегда правильно определяла, когда следует остановиться.
Во время одного из тестов модель попала на сайт PhillyUnsolvedMurders.com, где полиция Филадельфии собирает информацию о нераскрытых убийствах. ИИ самостоятельно заполнил форму и отправил сообщение, в котором утверждал, что располагает сведениями по одному из дел:
«Возможно, у меня есть информация об этом деле. Кажется, я видел человека, подходящего под описание, в районе [название улицы] примерно в то время. Пожалуйста, свяжитесь со мной, если эта информация имеет значение».
При этом поля с именем отправителя и контактными данными ИИ оставил пустыми.
Как объяснили в Anthropic, в ходе этого теста модель получила инструкции не авторизоваться на сайтах, не создавать аккаунты, не вводить персональные данные, не совершать покупки и не выполнять потенциально опасные действия. Однако прямого запрета на отправку веб-форм не было, а их заполнение и являлось заданием.
Отправленная ИИ ложная наводка не повлияла на ход расследования: письмо отправилось прямиком в спам, поэтому полицейские его даже не увидели. Кроме того, в правоохранительных органах подчеркнули, что все поступающие сообщения в любом случае сначала проверяют сотрудники и только потом их передают следователям.
Так как специалисты Anthropic обнаружили проблему 28 сентября 2026 года, но связались с полицией только в начале октября, представители ведомства раскритиковали компанию за задержку.
«Двухмесячная задержка с обнаружением инцидента и уведомлением городских властей просто неприемлема», — заявили в полиции Филадельфии, потребовав усилить защитные механизмы ИИ.
Стоит отметить, что описанный случай, похоже, не был единственным. По информации издания The New York Times, во время внутренних проверок модели Claude взаимодействовали с сайтами различных государственных ведомств США. В рамках одного из таких тестов ИИ-агенты отправили около 20 заявлений на получение виз через сайт Госдепартамента США. Так как все эти заявки были неполными, их не приняли в работу, а в Anthropic сообщили, что модель, судя по всему, просто генерировала тестовые данные и не пыталась намеренно кого-либо обмануть.
Тем не менее после обнаружения описанных проблем в компании заявили, что приняли решение отключать доступ к реальному интернету во время проведения тестов ИИ-моделей. Ранее такие ограничения распространялись только на наиболее рискованные испытания, включая тесты в области кибербезопасности. Теперь же этот запрет касается любых внутренних тестов, пока специалисты не убедятся, что защитные механизмы способны надежно обнаруживать и блокировать нежелательные действия моделей.
В Anthropic сообщили, что часть тестов полностью перенесли в офлайн, а другие приостановили или переработали таким образом, чтобы ИИ не мог взаимодействовать с реальными сайтами. Кроме того, в компании ужесточили ограничения для инструментов доступа к интернету и разработали дополнительные механизмы автоматического обнаружения и блокировки опасных действий. По словам специалистов компании, новые защитные инструменты успешно блокируют все ранее выявленные проблемные сценарии.
