Исследователи Яндекса представили разработку под названием RATE (Refined Assessment for Translation Evaluation — улучшенная метрика для оценки перевода), которая позволит совершенствовать модели ИИ, использующиеся для перевода текстов. Разработка ориентирована на решения, которые уже переводят тексты довольно точно, но делают это не всегда естественно.
Сгенерировано нейросетью Midjourney
В Яндексе пояснили:
Например, в неформальном диалоге модель может перевести «sorry, my bad» как «приношу извинения, это моя вина» вместо «извини, ошиблась». Пользователь заметит, что нейросеть выбрала излишне официальный тон, но существующие системы оценки перевода такие ошибки игнорируют. Новый метод помогает обращать внимание нейросетей на такие недочёты.
RATE оценивает перевод по трём критериям: точность передачи смысла, естественность языка и соответствие стилю оригинала. Это позволяет использовать метод для любых типов текстов. Например, с его помощью в новостях можно проверить точность передачи фактов, в постах соцсетей — выявить чрезмерную формальность фраз, а в художественных текстах — оценить стиль и плавность речи. RATE не только отмечает саму ошибку, но и оценивает её значимость — от небольших неточностей до сильных искажений.
