Глухой программист из Новосибирска обучил систему переводить жесты на русский язык

06 сентября 15:15
402

Алексей Приходько — единственный в мире IT-разработчик, который является экспертом в разработке системы для перевода русского жестового языка.

«Я — исполнитель, я же — и разработчик», — рассказывает мужчина о программе-переводчике. Система работает по аналогии с человеческим мозгом. Камера компьютера фиксирует жесты, программа сопоставляет их с данными в нейронной сети, а потом выводить готовый перевод на экран.

На самом деле, Алексей Приходько, — не единственный, кто разрабатывает переводчики для глухих. Ранее Майкрософт анонсировала такой продукт, но, по мнению исследователя, их система далека от совершенства. Проблема разработки хорошего переводчика в том, что у жестового языка сложная грамматика.

«Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции)», — комментирует слова программиста пресс-служба НГТУ.

Разработчик придумал программу, которая основана на безмаркерной системе. Она не требует покупки специального оборудования: для распознавания жестов нужна лишь камера.

«Если модель определяет, например, что пальцы раскрыты — буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель», — рассказывает Алексей.

Пока что система является прототипом, потому что переводит только на уровне азбуки глухих. Но Приходько не собирается останавливаться на достигнутом: разработчик усовершенствует программу для широкого использования как среди глухих людей, так и среди будущих переводчиков РЖЯ.

«Словари с русского языка на русский жестовый есть, но с РЖЯ на русский — нет. Некоторые задания студенты выполняют с огромным трудом, если среди их знакомых нет глухих, которые бы могли помочь», — прокомментировала разработку заведующая лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольга Варинова.

Ранее ВашГород.ру писал о том, что на Монументе Славы в Новосибирске подключат дополнительную реальность.

Интернет-портал «VASHGOROD.RU» зарегистрирован в Роскомнадзоре 28.02.2017 г.

Номер свидетельства ЭЛ № ФС 77 - 68868.

Редакция не несет ответственности за мнения, высказанные в комментариях читателей.

Условия размещения рекламы

ВСЕ НОВОСТИ