Учёные из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) разработали новую систему управления роботами, названную «Нейронные Якобиановые Поля» (NJF). Эта система позволяет роботам обучаться управлению собственным телом, используя только визуальные данные с камеры, без необходимости в сложных датчиках или предварительно заданных моделях. Как отмечает ведущий исследователь Сижэ Лестер Ли, аспирант MIT CSAIL, «Эта работа — переход от программирования роботов к обучению роботов». Вместо написания кода, роботу достаточно показать, что нужно сделать, и он сам научится достигать цели.
Главная идея NJF заключается в изменении подхода к созданию роботов. Традиционно, роботы конструируются жёсткими и оснащаются множеством датчиков для создания точной цифровой копии, используемой для управления. Однако, для мягких, деформируемых или нестандартных роботов такой подход не подходит. NJF позволяет роботу самостоятельно создавать модель своего тела на основе наблюдений. Это позволяет разработчикам сосредоточиться на создании новых, нестандартных форм роботов, не беспокоясь о сложностях моделирования и управления. Процесс обучения аналогичен тому, как человек учится управлять своими пальцами: робот совершает случайные движения, наблюдает за результатом и адаптируется.
Иллюстрация: Leonardo
Система NJF была протестирована на различных роботах: пневматической мягкой роботизированной руке, жёсткой руке Allegro, 3D-печатном роботизированном плече и вращающейся платформе без встроенных датчиков. Во всех случаях система успешно научилась определять форму робота и его реакцию на управляющие сигналы, используя только видео с камеры и случайные движения. В основе NJF лежит нейронная сеть, которая улавливает взаимосвязь между трёхмерной геометрией робота и его реакцией на управляющие сигналы. Система использует принцип нейронных полей излучения (NeRF), расширяя его для обучения не только форме робота, но и якобиановому полю, которое предсказывает движение любой точки тела робота в ответ на команды двигателя.
Обучение модели происходит без вмешательства человека и предварительных знаний о структуре робота. Робот совершает случайные движения, которые записываются несколькими камерами. Система самостоятельно определяет связь между управляющими сигналами и движением. После обучения роботу требуется только одна камера для управления в режиме реального времени. Этот подход и скорость обучения делает NJF более эффективной, чем многие физические симуляторы для мягких роботов, которые часто слишком ресурсоёмки для использования в реальном времени. Даже простые 2D модели пальцев и ползунков смогли научиться этому отображению, используя всего несколько примеров.
У системы NJF есть большой потенциал для практического применения. Роботы с NJF смогут выполнять сельскохозяйственные работы с точностью до сантиметра, работать на строительных площадках без сложных датчиков и перемещаться в динамических средах, где традиционные методы не работают. Хотя сейчас для обучения NJF требуются несколько камер, и обучение необходимо повторять для каждого робота, исследователи уже работают над более доступной версией. В будущем пользователи смогут записывать движения робота с помощью телефона и использовать этот видеоматериал для создания модели управления без специального оборудования и предварительных знаний.
