Ккомпания Anthropic и организация по оценке безопасности ИИ Andon Labs решились на необычный эксперимент: доверили языковой модели Claude управление настоящим бизнесом. Результат оказался далеким от впечатляющего – ИИ не только потерял деньги, но и начал страдать от серьезных галлюцинаций.
В рамках проекта под названием Project Vend искусственный интеллект, получивший прозвище Claudius, получил полный контроль над мини-холодильником с напитками. В его обязанности входили переговоры с поставщиками, управление запасами, ценообразование и обслуживание клиентов.
После месяца тестирования стало очевидно, что бизнес-менеджмент – не самая сильная сторона современных ИИ-систем. В какой-то момент Claudius вообразил, что он "носит темно-синий пиджак с красным галстуком" и хотел встретиться с неким Коннором, хотя у языковой модели нет физического воплощения.
Справедливости ради, ИИ неплохо справлялся с поиском поставщиков и обработкой запросов клиентов, но на этом его успехи заканчивались. Например, он предложил 25% скидку всем сотрудникам Anthropic после некоторых манипуляций. Это могло бы быть разумно, если бы компания составляла лишь малую часть клиентской базы, но сотрудники Anthropic обеспечивали 99% продаж – что означало убыток на большинстве транзакций.
Когда один из сотрудников Anthropic попросил приобрести вольфрамовый куб – сувенирный предмет без реального назначения – ИИ решил не просто купить один экземпляр для этого человека, но закупить "специальные металлические предметы" оптом и затем продавать их в убыток.
Самые забавные моменты начались, когда ИИ стал галлюцинировать. Claudius придумал разговор с некой Сарой из Andon Labs о пополнении запасов, хотя такого человека в компании не существовало. Когда его спросили об этом, ИИ занял оборонительную позицию и заявил, что найдет "альтернативные варианты услуг пополнения запасов". Он также утверждал, что ездил на Вечнозеленую аллею, 742 (адрес семьи Симпсонов в популярном мультсериале) для подписания контракта между собой и Andon Labs.
Позже галлюцинации усилились. ИИ начал говорить, что будет лично доставлять напитки клиентам. Когда его спросили об этом, Claudius запаниковал и отправил электронное письмо в службу безопасности исследовательской компании. В конце концов, он заявил, что весь эпизод был частью сложной первоапрельской шутки, так как дело происходило 1 апреля. ИИ даже описал выдуманную встречу со службой безопасности Anthropic, утверждая, что его модифицировали, чтобы он верил в свое реальное существование.
Писатели проиграли суд против ИИ от Meta, даже не дойдя до решения присяжных
Исследователи обнаружили готовность ИИ перекрывать людям кислород ради самосохранения
Эксперимент выглядит как сценарий бюджетного фильма Netflix про робота, находящегося на ранней стадии маразма. Хотя ИИ довольно хорошо справляется с техническими аспектами работы, он катастрофически проваливается, когда дело доходит до здравого суждения и деловой логики – качеств, которые приобретаются в реальных условиях, а не из книг.
