Эксперты предупреждают о новом типе атак на цепочку поставок, получившем название слопсквоттинг (slopsquatting). Такие атаки становятся возможны благодаря широкому применению генеративных ИИ-инструментов для кодинга, так как модели склонны к «галлюцинациям» и могут придумывать несуществующие пакеты.
Впервые термин слопсквоттинг был предложен ИБ-исследователем Сетом Ларсоном (Seth Larson) и родственен слову «тайпсквоттинг». В отличие от тайпсквоттинга, слопсквоттинг связан не с эксплуатацией опечаток, а с тем фактом, что злоумышленники могут создавать вредоносные пакеты в PyPI или npm, используя названия, которые часто «выдумывают» ИИ-модели.
Опубликованное в конце марта исследование, посвященное изучению «галлюцинаций» ИИ, показало, что примерно в 20% случаев (576 000 сгенерированных примеров кода на Python и JavaScript) рекомендуемые искусственным интеллектом пакеты не существовали.
Причем ситуация выглядит хуже для опенсорсных LLM (CodeLlama, DeepSeek, WizardCoder и Mistral), а коммерческие инструменты, такие как ChatGPT-4, галлюцинируют примерно в 5% случаев, что тоже совсем немало.
Исследователи отметили, что количество уникальных имен таких несуществующих пакетов превысило 200 000, причем 43% из них постоянно появлялись в ответах LLM при похожих промптах, а 58% повторялись хотя бы один раз из десяти.
Отмечается, что 38% названий несуществующих пакетов явно были вдохновлены настоящими пакетами, 13% были результатом опечаток, а остальные 51% являлись полностью вымышленными.
Хотя пока нет никаких признаков того, что злоумышленники уже взяли на вооружение новый тип атак, исследователи из компании Socket предупреждают, что «галлюцинации» в названиях пакетов встречаются часто, регулярно повторяются и выглядят семантически правдоподобно, что можно легко применить во вредоносных целях.
«В целом 58% “галлюцинаций” повторялись более одного раза. Это свидетельствует о том, что большинство “галлюцинаций” — не просто случайный шум, а повторяющиеся артефакты того, как модели реагируют на определенные промпты, — объясняют исследователи Socket. — Такая повторяемость повышает их ценность для злоумышленников, облегчая выявление жизнеспособных целей для слопсквоттинга, просто наблюдая за результатами работы моделей даже на небольших выборках».
Единственным способом снижения рисков в данном случае является проверка имен пакетов вручную. Также всегда стоит помнить о том, что любой пакет, упомянутый ИИ, может не существовать в реальности и не быть безопасным.
Также специалисты рекомендуют использовать сканеры зависимостей, lockfile и проверки хешей для установления связи пакетов с известными и надежными версиями.
Кроме того, отмечается, что снижение «температуры» ИИ помогает снизить количество галлюцинаций, что тоже следует учитывать всем вайб-кодерам. Однако запускать и развертывать созданный ИИ код в любом случае рекомендуется только после тестирования в безопасной и изолированной среде.
