Компанія Grammarly, яка розробляє онлайн-сервіс на основі штучного інтелекту для допомоги в написанні текстів англійською мовою, анонсувала створення та публікацію у відкритому доступі першого анотованого GEC-корпусу української мови.
GEC — це Grammatical Error Correction, тобто виправлення граматичних помилок, а мовний корпус — сукупність текстів, авторами яких є звичайні люди. Професійні українські лінгвісти ці тексти потім опрацювали (проанотували — позначили помилки і вказали відповідні виправлення). Призначення корпусу — наукове та практичне вивчення мови. Схожі корпуси існують для багатьох мов, але до сьогодні не було такого анотованого корпусу для вивчення української мови.
Презентований GEC-корпус української мови налічує понад тисячу різножанрових текстів (а це більш ніж 20 000 речень), що їх написали майже 500 волонтерів з усієї України і з-за кордону. Ці дані будуть корисні тим, хто цікавиться лінгвістикою, — від студента-науковця до приватної компанії — і для дослідницької роботи, і для створення або поліпшення власного онлайн-додатка, продукту тощо. Завантажити корпус можна за наступним посиланням.
Окрім того, проєкт зі збору та наповнення GEC-корпусу української мови стає постійним у компанії Grammarly і буде частиною внеску Grammarly у розвиток українського NLP (natural language processing — опрацювання природної мови). Команда розробників продовжить наповнювати корпус текстами за допомогою вебсайту проєкту, а також працюватиме над удосконаленням його технічної цінності, щоб збільшити його значення для наукової спільноти.
“Ми вбачаємо в цьому проєкті особливу цінність для розвитку української комп’ютерної лінгвістики та української мови онлайн і саме тому ухвалили рішення зробити цей проєкт постійним для нашої компанії. Якщо підсумувати простими словами значення цієї ініціативи, то це один із маленьких кроків, які наближають нас до чудової мети — навчити комп’ютер ще краще розуміти українську мову. Саме це надихає всю нашу команду!» — коментує Настасія Осідач, менеджерка команди комп’ютерних лінгвістів Grammarly та керівниця проєкту зі збору корпусу.
Корпус також може мати позитивний вплив на створення нових онлайн-систем виправлення граматики в українськомовних текстах. Українська мова входить до 50 найпоширеніших мов світу; водночас якісних текстових ресурсів для дослідження української зараз існує небагато. Створений корпус надає українській дослідницькій спільноті ще один інструмент для опрацювання природної мови і може прискорити розвиток українських комунікаційних асистентів. Також GEC-корпус буде сприяти використанню якісної української мови в онлайні, а таклж буде корисним для наукової спільноти, адже надасть більше інструментів для досліджень та в результаті буде корисним для тих, хто спілкується українською онлайн.
“Ми зробили GEC-корпус загальнодоступним, тож беріть його, досліджуйте та розвивайте комп’ютерне опрацювання української мови! Окрім доповнення самого корпусу текстами, команда активно вдосконалюватиме його технічну цінність. Наші лінгвісти підготують додатковий варіант анотації, що дасть змогу використовувати корпус у двох різних завданнях: виправленні тільки граматики та виправленні граматики й стилю, що суттєво збільшує можливості його використання та значення”, — каже Олексій Сивоконь, інженер-дослідник Grammarly.
Дізнатися більше і підтримати проєкт GEC-корпусу української мови можна за наступним посиланням.
Джерело: Grammarly
