Специалисты раскрыли детали трех уже исправленных уязвимостей в ИИ-помощнике Google Gemini, получивших общее название Gemini Trifecta. В случае успешной эксплуатации эти проблемы позволяли обмануть ИИ и вынудить его участвовать в краже данных и другой вредоносной активности.
Специалисты Tenable рассказывают, что уязвимости затрагивали три различных компонента Gemini:
Промпт-инжекты в Gemini Cloud Assist. Баг позволял атакующим взламывать облачные сервисы и ресурсы, эксплуатируя то, что инструмент способен суммировать логи, извлеченные напрямую из необработанных логов. Это позволяло скрыть промпт в заголовке User-Agent в составе HTTP-запроса к Cloud Function и другим сервисам, включая Cloud Run, App Engine, Compute Engine, Cloud Endpoints, Cloud Asset API, Cloud Monitoring API и Recommender API.
Поисковые инжекты в модели Gemini Search Personalization. Проблема позволяла внедрять промпты и контролировать поведение ИИ для кражи сохраненной информации пользователя и данных о его местоположении. Атака работала следующим образом: злоумышленник с помощью JavaScript манипулировал историей поиска Chrome жертвы, а модель не могла отличить легитимные запросы пользователя от промптов, внедренных извне.
Косвенные промпт-инжекты в Gemini Browsing Tool. Уязвимость могла применяться для извлечения сохраненной информацию пользователя и данных о его местоположении на внешний сервер. Эксплуатация проблемы работала через внутренний вызов, который Gemini осуществляет для суммаризации содержимого веб-страницы. То есть злоумышленник размещал вредоносный промпт на своем сайте, и когда Gemini суммаризировал содержимое такой страницы, он выполнял скрытые инструкции атакующего.
Исследователи отмечают, что эти уязвимости позволяли встроить приватные данные пользователя в запрос к вредоносному серверу атакующих, и Gemini не нужно было рендерить какие-либо ссылки или изображения.
«Один из наиболее опасных сценариев атаки выглядит так: злоумышленник внедряет промпт, который инструктирует Gemini запросить все общедоступные ресурсы или найти ошибки конфигурации IAM, а затем сформировать гиперссылку с этими конфиденциальными данными, — объясняют эксперты на примере бага в Cloud Assist. — Это возможно, потому что у Gemini есть права на запрос ресурсов через Cloud Asset API».
Во втором случае атакующим нужно было заманить жертву на заранее подготовленный сайт, чтобы осуществить инъекцию вредоносных поисковых запросов с промптами для Gemini в историю браузера пользователя, тем самым отравив ее. После этого, когда жертва обратится к Gemini Search Personalization, инструкции атакующих будут выполнены и произойдет кража конфиденциальных данных.
После получения информации об уязвимостях специалисты Google отключили рендеринг гиперссылок в ответах при суммаризации логов, а также внедрили дополнительные меры защиты от промпт-инжектов.
«Уязвимости Gemini Trifecta показывают, что ИИ может стать не только целью, но и инструментом для атаки. Внедряя ИИ, организации не могут пренебрегать безопасностью», — подчеркивают исследователи.
