В прошлом году Adobe запустила Firefly — свою новейшую модель генеративного ИИ, основанную на предыдущей SenseiAI, и теперь компания показала, как она будет использоваться в её приложении для редактирования видео Premiere Pro. В раннем превью были продемонстрированы несколько ключевых функций, которые появятся в конце этого года, включая добавление и удаление объектов, генеративное расширение и преобразование текста в видео.
Новые функции будут популярными, так как подгонка видео — это частая и утомительная задача. Первая функция, Generative Extend, решает проблему, с которой редакторы сталкиваются практически при каждом монтаже: — слишком короткие клипы.
Adobe объяснила, что при помощи генеративного расширения можно увеличить продолжительность клипов, упрощая идеальную подгонку и добавление плавных переходов.
Ещё одна распространённая проблема — нежелательный мусор в кадре, который сложно удалить, или добавление желаемого объекта. Функция добавления и удаления объектов в Premiere Pro решает эту задачу, снова используя генеративный ИИ Firefly.
Просто выберите и отслеживайте объекты, а затем заменяйте их. Удаляйте ненужные предметы, меняйте гардероб актёра или быстро добавляйте декорации, такие как картина или фотореалистичные цветы на столе.
Adobe показала пару примеров, добавляя кучу бриллиантов в портфель с помощью текстового запроса. Он также удаляет распределительную коробку, меняет циферблат часов и добавляет галстук к костюму персонажа.
Компания также продемонстрировала способ импорта пользовательских моделей ИИ. Одна из них, называемая Pika, питает Generative Extend, а другая (Sora от OpenAI) может автоматически генерировать B-Roll. Последнее, скорее всего, вызовет споры, поскольку потенциально может уничтожить тысячи рабочих мест, но всё ещё находится "на ранней стадии исследований". Компания отмечает, что добавит "контент-сертификаты" к таким кадрам, чтобы было видно, какие части были сгенерированы ИИ, включая компанию, стоящую за моделью.
Подобная функция также доступна в "Text to Video", позволяя генерировать совершенно новые кадры прямо в приложении.
Просто введите текст в подсказку или загрузите эталонные изображения. Эти клипы можно использовать для разработки идей и создания раскадровок или для создания B-roll, дополняющих отснятый материал.
Похоже, компания довольно быстро выводит функционал, учитывая, что качественное генеративное ИИ-видео впервые появилось всего несколько месяцев назад.
Эти функции появятся позже в этом году, но в мае Adobe также представляет обновления для всех пользователей.
