Intel выпустила программную утилиту, которая способна оценить качество картинки в играх с использованием апскейлера и фреймгенератора.
Новый набор инструментов с использованием модели искусственного интеллекта должен помочь человечеству объективно оценить изображение, сгенерированное ИИ. Как не трудно догадаться, в первую очередь, это касается разнообразных режимов FSR/DLSS/XeSS и кадровых генераторов, разновидностей которых уже наплодилось довольно много. Новая метрика качества компьютерной графики называется Computer Graphics Visual Quality Metric (CGVQM) и уже доступна для загрузка с Github.
Нередко в современных играх изображение рендерится не в нативном разрешении. А с использованием указанных технологий по повышению частоты кадров, может возникнуть целый ворох проблем негативно влияющих на качество изображения. Ореолы, мерцание, шумы, надоедливые крапинки и многие другие сопутствующие «эффекты» уже хорошо знакомы современным геймерам. Замерять их до сих пор можно было лишь визуально.
Чтобы создать лучший инструмент для оценки, компания Intel применила двойной подход решения проблемы в статье «CGVQM+D: Computer Graphics Video Quality Metric and Dataset».
Во-первых, исследователи создали новый набор данных под названием Computer Graphics Visual Quality Dataset (CGVQD), который содержит различные типы эффектов, негативно влияющих на какие-то картинки. Среди них искажения вызванные трассировкой лучей, нейросуперсемплингом, интерполяцией кадров и несколькими другими, менее известными.
Во-вторых, инженеры научили ИИ отличать и оценивать эти «неприятности». Нейросеть способна в реальном времени оценивать финальное изображение после рендеринга и, как следствие, сравнивать его.
Далее состоялось согласование оценок ИИ с реальными людьми. Участники теста оценивали отобранные Intel искажения по шкале от «незаметных» до «очень раздражающих». Таким образом нейросеть получила правдивые данные реальных наблюдателей на которые можно опираться. При этом сама модель для вычислений была выбрана в качестве трехмерную (3D-CNN)а для остаточных связей использовалась ResNet.
В статье утверждается, что модель CGVQM превосходит практически любой другой подобный инструмент оценки качества изображения, по крайней мере на собственном наборе данных. Также исследователи демонстрируют, что их модель неплохо обнаруживает искажения и в тех случаях, когда собственные данные не использовались.
Статья оставляет несколько открытых вопросов для улучшения работы утилиты. Потому что, например, было бы интересно узнать, как она будет сотрудничать не с 3D-CNN, а с моделью трансформациина которой построен ChatGPT и другие современные сервисы. Здесь исследователи разводят руками, так как для этого их вычислительных возможностей пока недостаточно.
Источник: Tom’s Hardware
