Внедрение больших языковых моделей, таких как Stable Diffusion, в смартфоны – это следующий шаг в распространении генеративных инструментов на более широкую аудиторию.
Обычно для запуска таких генеративных нейросетей требуется много вычислительной мощности, и большинство программ, предлагающих такие услуги на мобильных устройствах, выполняют обработку в облаке. Однако Qualcomm доказала, что ее версия Stable Diffusion может легко сделать это и на смартфоне.
Qualcomm показала Stable Diffusion версии 1.5, которая сгенерировала изображение размером 512 x 512 пикселей за 15 секунд. Для сравнения: генерация изображений на приличном ноутбуке займет несколько минут, поэтому такой результат с телефона впечатляет.
Не сообщается, какой именно смартфон использовали для демонстрации — но он оснащен флагманским чипсетом Snapdragon 8 Gen 2 (выпущенный в ноябре прошлого года и имеющий процессор Hexagon, ориентированный на ИИ). Инженеры компании также выполнили различные оптимизации ПО, чтобы обеспечить оптимальную работу программы.
На самом деле, другие экспериментаторы уже пробовали запустить Stable Diffusion на Android. Разработчик Айвон Хуанг рассказывал в блоге о запуске генеративной нейросети на Sony Xperia 5 II с процессором Qualcomm Snapdragon 865 и 8 ГБ оперативной памяти. Хотя, как отметил Хуанг, создание изображения 512 x 512 с этой настройкой заняло час.
Apple еще в декабре выпустила оптимизации, необходимые для локального запуска Stable Diffusion на ее собственной платформе машинного обучения Core ML. Журналисты The Verge попытались запустить Stable Diffusion 1.5 на iPhone 13 через программу Draw Things с ускорением Core ML. С этой настройкой создание изображения размером 512 x 512 заняло около минуты.
Поэтому в обоих случаях Qualcomm выигрывает в скорости, но имеет определенные ограничения — новейшее оборудование и пакет оптимизации, который не является общедоступным.
Работа больших ИИ-моделей на мобильных устройствах дает множество преимуществ по сравнению с использованием облачных вычислений: это удобство (не нужно мобильное соединение), стоимость (разработчики не будут взимать плату с пользователей, когда наступает срок оплаты за сервер) и конфиденциальность (вы не отправляете данные на чужой компьютер).
Источник: The Verge
