Специалисты Kaspersky Digital Footprint Intelligence изучили сообщения в даркнете на тему использования ChatGPT и других аналогичных решений на основе больших языковых моделей (LLM). По итогу в 2023 году на теневых форумах и в Telegram-каналах было найдено более 2890 таких постов. Больше всего обсуждений было в апреле — в этом месяце эксперты зафиксировали 509 сообщений.
В отчете компании рассказывается, что многочисленные обсуждения можно разделить на следующие направления.
Злоупотребления самим ChatGPT. Например, в одном из сообщений предлагалось использовать GPT для генерации полиморфного вредоносного кода с заданной функциональностью. То есть с помощью обращения к легитимному домену (openai.com) из инфицированного объекта злоумышленник может сгенерировать и запустить вредоносный код, обходя ряд стандартных проверок безопасности. Исследователи отмечают, что пока не обнаруживали малварь, действующую таким образом, однако она вполне может появиться в будущем.
Также преступники стали нередко использовать ChatGPT при разработке вредоносов и для других противоправных целей. Так, один посетитель хак-форума описывал, как использование ИИ помогло ему решить проблему при обработке дампов пользовательских данных.
Джейлбрейки. Чтобы LLM могла давать «запрещенные» ответы, хакеры прибегают к различным джейлбрейкам. Они помогают открывать дополнительную функциональность у ChatGPT и других похожих сервисов. За 2023 год исследователи обнаружили 249 предложений по распространению и продаже подобных команд. При этом отмечается, что джейлбрейки могут применяться и для легитимного улучшения работы таких сервисов.
Малварь. Также участники хак-форумов активно обмениваются идеями для использования ИИ для усовершенствования вредоносов и повышения эффективности кибератак в целом. Например, в одном из сообщений рассказывалось о софте для операторов малвари, который использовал ИИ для обеспечения безопасности оператора и автоматического переключения используемых доменов прикрытия.
Опенсорс и программы для пентеста. Различные решения на базе ChatGPT активно тестируются разработчиками опенсорса, в том числе в проектах, предназначенных для ИБ-специалистов. Хакеры тоже обращают внимание на такие разработки.
Например, на GitHub можно найти опенсорсную утилиту на базе генеративной модели, которая предназначена для обфускации кода на PowerShell Обфускация позволяет избегать обнаружения системами мониторинга и защитными решениями. Такие утилиты могут использовать как пентестеры, так и злоумышленники, причем было замечено, что последние обсуждали, как это решение можно применить для вредоносных целей.
«Злые» аналоги ChatGPT. На фоне популярности чат-ботов большой интерес вызвали и другие проекты, ориентированные на киберпреступников: WormGPT, XXXGPT, FraudGPT. Они предлагаются как замена ChatGPT, не имеют ограничений, присущих оригиналам, и обладают дополнительным функционалом (например, для организации фишинговых рассылок и компрометации деловой почты).
Однако повышенное внимание к подобным разработкам не всегда играет на руку их создателям. Так, WormGPT был закрыт в августе 2023 года из-за массовых опасений, что он может представлять угрозу. К тому же многие обнаруженные специалистами «Лаборатории Касперского» сайты и объявления, где предлагалось купить доступ к WormGPT, по сути оказались фишингом и скамом.
Продажа аккаунтов для платной версии ChatGPT, украденных у настоящих пользователей и компаний, также является весьма популярной темой в дарнете. Помимо взломанных аккаунтов распространена и продажа автоматически созданных бесплатных учетных записей. Злоумышленники автоматизируют регистрацию на платформе, используя поддельные или временные данные. Подобные аккаунты имеют лимит на количество запросов к API и продаются пакетами. Это позволяет хакерам экономить время и сразу перейти на новый аккаунт, как только предыдущий перестанет работать.
«Существуют опасения, что развитие больших языковых моделей позволяет злоумышленникам упрощать их деятельность и одновременно снижает для них порог входа в индустрию. Однако на данный момент мы не видим реальных инцидентов, в рамках которых использовались такие решения. Тем не менее, технологии развиваются стремительными темпами, и вполне вероятно, что вскоре возможности языковых моделей позволят осуществлять сложные атаки, поэтому важно внимательно следить за этой сферой», — комментирует Алиса Кулишенко, аналитик Kaspersky Digital Footprint Intelligence.
