Учёные показали, что нейросеть, почти идеально распознававшая признаки жизни, полностью теряла точность после небольших изменений данных
Учёные из Университета штата Мичиган выяснили, что современные модели искусственного интеллекта могут оказаться крайне ненадёжными при поиске признаков внеземной жизни.
В эксперименте исследователям удалось обмануть специально натренированную нейросеть во всех случаях, изменяя данные настолько незначительно, что алгоритм начинал принимать их за свидетельства существования жизни.
Авторы работы проверяли, насколько ИИ способен распознавать биомаркеры — признаки, которые могут указывать на существование живых организмов. Для экспериментов они использовали разработанную в университете систему Avida, моделирующую цифровую эволюцию. В ней виртуальные организмы представлены кодом, который копирует сам себя, постепенно накапливая случайные изменения — аналог биологической эволюции.
Исследователи обучили нейросеть на десятках тысяч таких цифровых организмов, часть которых содержала команду самокопирования, а часть — нет. На знакомых данных алгоритм показал почти идеальную точность классификации.
Однако после этого учёные начали постепенно изменять код организмов, показывая нейросети варианты, которых она раньше не встречала. Оказалось, что иногда было достаточно 150 небольших изменений в программном коде, чтобы алгоритм начал уверенно принимать ложные сигналы за признаки жизни. По словам одного из авторов работы Анкита Гупты (Ankit Gupta), независимо от выбранной последовательности изменений исследователям удавалось обмануть модель в 100% случаев.
«У искусственного интеллекта есть ахиллесова пята. Он может увидеть закономерность и полностью неверно её классифицировать», — отметил соавтор исследования Кристоф Адами (Christoph Adami). По его словам, проблема заключается не в самой технологии, а в её уязвимости к данным, которые отличаются от тех, на которых проводилось обучение.
Авторы отмечают, что результаты важны не только для будущих космических миссий, где ИИ может анализировать данные с марсоходов или межпланетных зондов без постоянного контроля специалистов. Аналогичные ошибки способны возникать и в системах распознавания лиц, беспилотном транспорте, медицинской диагностике и других областях, где решения принимает модель.
Исследователи считают, что искусственный интеллект должен оставаться вспомогательным инструментом, а его выводы необходимо независимо проверять. По мнению Кристофа Адами, в задачах научного поиска, особенно связанных с возможным открытием внеземной жизни, человек остаётся обязательной частью процесса принятия решений.
