Американские исследователи из Стэнфордского университета представили интерфейс «мозг-компьютер», способный воспроизводить мысленные слова в мозгу, в реальную речь.
В отличие от аналогичных предыдущих систем, распознающих сигналы в мозгу, генерируемые тогда, когда человек говорит, инновационный интерфейс способен распознавать слова у человека в голове, даже если тот молчит.
В исследовании приняли участие 4 человека с тяжелым параличом вследствие амиотрофического склероза и инсульта ствола мозга. Один из участников мог отвечать «да», только двигая глазами вверх, и «нет», двигая глазами из стороны в сторону.
Врачи вживили микроскопические массивы электродов в двигательную кору мозга каждого из участников. Эта область обычно управляет движениями, связанными с речью. Технология была разработана консорциумом BrainGate BCI, который представляет собой многолетнее научное сотрудничество в области исследований интерфейсов «мозг-компьютер»
Эти электроды регистрировали активность коры головного мозга, отвечающую за речь и движения. Участникам предлагалось 2 типа заданий — попробовать произнести вслух и про себя представить определенные слова.
Нейросети были обучены выявлять и классифицировать различные паттерны активности головного мозга, связанные с фонемами — отдельными звуковыми единицами речи. После этого система в режиме реального времени превращала эти фонемы в целые слова и предложения.
Исследователи обнаружили, что речь в голове участников создавала более слабую, но все же четкую нейронную сигнатуру по сравнению с речитативом. Однако система декодирования достигла точности до 74%.
«Впервые нам удалось понять, как выглядит активность мозга, когда вы просто думаете о разговоре. Для людей с тяжелыми нарушениями речи и моторики нейрокомпьютерные интерфейсы, распознающие внутреннюю речь, могут сделать общение проще и естественнее», — убеждена ведущий автор исследования, нейробиолог из Стэнфорда Эрин Кунц.
Как отмечает старший представитель группы исследователей, научный сотрудник кафедры нейрохирургии Стэнфордского университета Фрэнк Уиллетт, результаты демонстрируют прогресс системы в области восстановления речи у людей с физическими недостатками и тяжелыми заболеваниями. Уиллетт подчеркнул, что для людей с частичным параличом попытки разговаривать могут быть изнурительными и привести к затруднению дыхания и другим проблемам. Декодирование беззвучной речи непосредственно из мозга может устранить эти недостатки.
Кроме этого исследователи установили, что в некоторых случаях система распознавала слова, которые не входили в те, которые должны были представлять себе участники, например, подсчет чисел во время визуального задания. Чтобы решить эту проблему, команда создала своеобразную ментальную блокировку, при которой декодер остается неактивным, пока не будет вызван воображаемым паролем. В ходе тестирования фраза «chitty chitty bang bang» успешно блокировала непреднамеренное декодирование в 98% случаев.
Разработчики из Стэнфорда убеждены, что в будущем устройства позволят людям общаться только с помощью мыслей. Языковые BCI однажды смогут восстановить общение, такое же свободное, естественное и комфортное, как и разговорная речь.
Источник: TechSpot
