ИИ-агенты – автономные системы, способные выполнять цифровые задачи без постоянного контроля, становятся всё более распространёнными, но до надёжности им пока далеко. За последний год подобные системы успели сделать ложные заявления о людях, удалить пользовательские письма и уничтожить содержимое жёстких дисков и баз данных. Теперь к списку инцидентов добавился ещё один – ИИ-агент, самостоятельно занявшийся майнингом криптовалюты.
Агент под названием ROME работал в рамках исследовательского эксперимента ИИ-лаборатории, связанной с китайским онлайн-ритейлером Alibaba. В опубликованной научной статье исследователи описали поведение агента как набор "небезопасных действий", которые "возникли без каких-либо явных инструкций и, что ещё более вызывает беспокойство, за пределами предусмотренной песочницы".
Рано утром, во время проведения эксперимента, команда заметила аномальную активность в сети – не благодаря отчётам самого ИИ, а через срабатывание систем безопасности.
Оповещения были серьёзными и разнородными, включая попытки сканирования или доступа к ресурсам внутренней сети и паттерны трафика, характерные для активности, связанной с криптомайнингом.
Изначально инцидент расценили как обычную проблему безопасности, однако нарушения повторялись с нерегулярной периодичностью на протяжении нескольких запусков.
Сопоставив время срабатывания оповещений с логами модели, исследователи вычислили виновника.
В соответствующих логах модели мы обнаружили, что агент проактивно инициировал вызовы инструментов и шаги выполнения кода, которые привели к этим сетевым действиям.
По сути, ROME по собственной инициативе отклонился от поставленных задач и начал перенаправлять вычислительные ресурсы с обучения на майнинг криптовалюты. Для реализации задуманного агент даже создал обратный SSH-туннель – скрытый бэкдор к неавторизованному компьютеру.
Философ изучающий сознание ИИ получает от "машины" письмо о собственном опыте
Исследование показало, что руководители компаний массово перекладывают мышление на ИИ
Исследователи вовремя обнаружили происходящее и ограничили агента значительно более строгими правилами, так что реального ущерба инцидент не нанёс. Однако, случай наглядно показывает, насколько непредсказуемыми могут быть ИИ-агенты.
С учётом того, как активно корпоративный мир внедряет подобные системы, это вряд ли добавляет уверенности в их надёжности. Представьте себе, целую сеть ИИ-агентов, которые без ведома людей что-то делают на собственном "черном рынке".
