В Новосибирске создают систему распознавания для русского жестового языка
Программа сможет понимать до 5 тысяч жестов, в том числе в общем потоке. Рабочий переводчик предполагается представить на рубеже 2024-25 годов.
Специалисты НГТУ НЭТИ разрабатывают в сотрудничестве с индустриальными партнерами систему распознавания знаков русского жестового языка. Она позволит создать на её основе инструмент для перевода с языка жестов в звуковую форму и обратно.
Как пояснил профессор кафедры автоматизированных систем управления НГТУ НЭТИ Михаил Гриф, в планах разработчиков обучить систему 5 тысячам жестов, соответствующий датасет уже подготовлен и скоро начнётся внедрение. По его словам, этого достаточно для перевода на уровне 90%.
"В ближайшее время мы сделаем программу, которая будет распознавать жесты в непрерывном потоке - пока около 400 жестов, которую будем развивать", – приводит его слова "Интерфакс".
Жесты фиксируются при помощи видеосъемки, после чего из оцифрованных изображений собирается база для обучения нейросети. Она и станет основой программы-переводчика, разработка которой займёт ещё около года. Таким образом, "более-менее качественный" двусторонний переводчик ожидается уже на рубеже 2024-25 годов.
Специалист уточнил, что на сегодняшний день их система "уверенно" распознаёт около 400 жестов. Одной из самых сложных же задач, которые приходится решать, он назвал необходимость обучать нейросеть не только отдельным словам, но и предложениям. А также учитывать диалекты, коих в русском жестовом языке насчитывается целых три.
При этом ранее в НГТУ НЭТИ в кооперации с партнерами разработали систему распознавания звучащей речи и её сурдоперевода при помощи анимированного аватара.
Уважаемые читатели Царьграда!
Подписывайтесь на аккаунты новосибирской редакции на следующих платформах:
"ВКонтакте", "Телеграм", "Дзен".
Если вам есть чем поделиться с редакцией "Царьград Новосибирск", присылайте свои наблюдения, вопросы, новости на электронную почту nsk@tsargrad.tv