Исследователи обнаружили, что файлы llms.txt и llms-full.txt на 120 сайтах содержали ссылки на незарегистрированные пакеты и домены. При этом ИИ-агенты Claude, OpenAI Codex и Hermes воспринимают инструкции в таких файлах как доверенную документацию и действительно выполняют приведенные команды.
Как сообщает издание Ars Technica, специалисты из неназванного израильского стартапа просканировали 6214 действующих доменов оборонных подрядчиков, организаций из списка Fortune 500 и крупных технологических компаний, и в общей сложности нашли 8265 файлов llms.txt и llms-full.txt. Сейчас такие файлы становятся своеобразным аналогом robots.txt для ИИ: в них описаны содержимое и структура сайта в формате, предназначенном для ИИ-агентов.
Однако в файлах на 120 ресурсах исследователи обнаружили ссылки, ведущие на несуществующие пакеты в PyPI, npm и так далее, а также на незарегистрированные домены. В общей сложности в файлах было найдено 227 инструкций. Например, документация могла прямо предлагать ИИ выполнить pip install [несуществующий пакет] или npm install [несуществующий пакет]. Поскольку указанное в файлах имя никому не принадлежало, злоумышленники могли зарегистрировать его и использовать в своих целях.
В качестве эксперимента специалисты зарегистрировали несколько таких свободных имен и разместили под ними безопасные PoC-пакеты, которые при запуске обращались к их серверу. В итоге менее чем через час на сервер исследователей поступил первый запрос из сети компании из списка Fortune 500. Позже специалисты получили еще несколько десятков запросов от других известных компаний и стартапов. Как показал последующий анализ, эти PoC-пакеты устанавливались при участии ИИ-агентов Claude, OpenAI Codex и Nous Research Hermes.
«Модель доверия сломана, — предупреждают исследователи. — Агенты воспринимают документацию вендоров как истину и не задают вопросов».
Особенно интересный случай исследователи выявили на сайте платформы для аутентификации и управления пользователями Clerk. В опубликованном там LLM-файле содержалась команда npx clerk-next-fix-auth-protection, которая выглядела как обычная инструкция по установке компонента Clerk.
Проблема заключалась в том, что пакета clerk-next-fix-auth-protection в npm не существовало, и этим успел воспользоваться неизвестный злоумышленник, который зарегистрировал свободное имя и разместил под ним малварь. В итоге ИИ-агент, доверившийся инструкции на официальном сайте Clerk, фактически мог скачать и выполнить вредоносный код.
После получения предупреждения от исследователей представители Clerk исправили проблему. В компании уточнили, что если агент установил соответствующий бинарник из @clerk/eslint-plugin, никакой угрозы не было, однако в остальных случаях действительно могла устанавливаться малварь.
Авторы исследования подчеркивают, что обычные защитные решения могут вообще не замечать подобных атак. К примеру, для EDR происходящее выглядит как нормальная работа разработчика: доверенный агент запускает pip или npm, и пакет загружается из доверенного PyPI или npm.
В основе проблемы лежит та же слабость LLM, что и в случае с промпт-инжектами: LLM плохо отделяют команды пользователя от инструкций, найденных во внешнем контенте. В результате практически любой контент, который способен обработать агент с шелл-доступом, может превратиться в потенциальную инструкцию для выполнения команд. Специалисты резюмируют:
«Агент не отличает страницу и команду. Все, что он читает, становится входными данными, а любые входные данные могут оказаться инструкцией».
