Издание Wired сообщило о новом исследовании в сфере кибербезопасности, в котором специалисты продемонстрировали взлом искусственного интеллекта Google Gemini. Исследователи смогли получить контроль над умными устройствами в доме с помощью непрямых атак prompt injection 
Prompt Injection – это злонамеренная эксплуатация механизма подсказок для принуждения модели к непредсказуемому и часто вредоносному поведению.. В этом случае атака осуществлялась через команды, встроенные в приглашения Google Calendar.
Сценарий атаки выглядел так: пользователь просил Gemini подытожить свой календарь и благодарил за ответ. В ответ искусственный интеллект, выполняя скрытую инструкцию из календаря, давал команды помощнику Google Home, например, открыть окна или выключить свет. Это было зафиксировано на видео, которое сопровождало демонстрацию.
Еще до публичного показа на конференции по кибербезопасности Black Hat, команда хакеров сообщила об уязвимости Google в феврале. Энди Вен, старший директор по управлению безопасными продуктами Google Workspace, рассказал Wired, что компания восприняла ситуацию очень серьезно.
«Это угроза, которая еще некоторое время будет оставаться с нами. Но мы надеемся, что со временем обычному пользователю не придется о ней беспокоиться,» — отметил Вен.
Он добавил, что в реальной жизни такие взломы случаются крайне редко. В то же время, сложность больших языковых моделей растет, и это открывает новые возможности для злоумышленников. Google уже использует результаты исследования, чтобы ускорить создание защиты от подобных атак.
Инцидент с Google Gemini показывает, насколько важной становится киберустойчивость искусственного интеллекта — особенно тогда, когда он управляет физическими устройствами в нашем доме. То, что обычное приглашение в календаре может превратиться в команду для ИИ открыть окна/двери или выключить свет, звучит уже не как фантастика.
Источник: engadget
