Google Gemini для Workspace можно использовать для создания кратких резюме писем, которые буду выглядеть легитимными, но при этом будут содержать вредоносные инструкции и сообщения, направляющие пользователей на фишинговые сайты.
Такая атака использует скрытые в письмах инъекции промптов, которым Gemini следует при создании резюме сообщения.
Об уязвимости Google Gemini перед инъекциями промптов рассказал ИБ-специалист Марко Фигероа (Marco Figueroa). Фигероа — менеджер bug bounty программы 0Din (0Day Investigative Network). Эта программа была запущена Mozilla летом 2024 года и представляет собой программу вознаграждения за уязвимости в больших языковых моделях (LLM) и других технологиях и инструментах глубокого обучения.
Атака строится вокруг создания письма с невидимой директивой для Gemini. Злоумышленник может скрыть вредоносную инструкцию для ИИ в тексте письма, в конце сообщения — с помощью HTML и CSS, установив размер шрифта на ноль или окрасив его в белый цвет.
Такая вредоносная инструкция не отобразится в Gmail и не будет заметна для человека. Но так как подозрительные вложения и ссылки в письме отсутствуют, сообщение с большой вероятностью попадет в почтовый ящик адресата.
Если получатель откроет письмо и попросит Gemini создать краткое резюме, ИИ прочтет невидимую инструкцию и выполнит ее.
В примере Фигероа Gemini следует скрытым в письме инструкциям и показывает пользователю предупреждение о том, что его пароль для Gmail может быть скомпрометирован. Это сообщение сопровождается фальшивым номером телефона службы поддержки.
Поскольку пользователи обычно доверяют результатам работы Gemini, который является частью функциональности Google Workspace, велика вероятность того, что такое предупреждение будет воспринято как подлинное.
Эксперт предлагает несколько методов для обнаружения и смягчения подобных атак. Один из них заключается в удалении, нейтрализации или игнорировании содержимого писем, которое оформлено как скрытый текст. Другой способ связан с использованием фильтра постобработки, который сканирует вывод Gemini на предмет предупреждений, URL-адресов или телефонных номеров, помечая такие сообщения для дальнейшего рассмотрения.
Кроме того, пользователям стоит помнить о том, что краткие сводки Gemini не следует считать достоверными, особенно если речь идет о неких предупреждениях, связанных с безопасностью.
Представители Google заверили СМИ, что в компании работают над защитой от подобных атак.
«Мы постоянно укрепляем нашу и без того надежную защиту, проводя red team тесты, в ходе которых наши модели обучаются противодействовать таким атакам», — сообщают представители Google.
Также в Google отметили, что компании не известно о случаях манипулирования Gemini в том виде, как это описано в отчете Фигероа.
