Сибирские ученые обучили ИИ переводу сообщений с языка жестов

Ученые из Новосибирского государственного технического университета НЭТИ завершают создание системы, которая при помощи камер и нейронных сетей способна перевести разговоры с языка жестов в текстовое или голосовое сообщение. 

По словам разработчиков, программа способна с точностью до 90% распознать более одной тысячи жестов. Об этом сообщает "Научная Россия". 

"В России подобной системы раньше не было, это первая в мире разработка", — отметил профессор кафедры автоматизированных систем управления НЭТИ Михаил Гриф.

Специалист уточнил, что для того, чтобы обучить систему распознавать жесты с высокой точностью, на камеры были записаны 350 предложений на языке жестов. 

Российские ученые заметили, что камеры сперва фиксируют движения человека на видео, а затем превращают в изображения. После этого полученные данные переводятся в модели, сопоставляются с данными в нейронной сети и преобразуются в текст или голос. Искусственный интеллект также способен определять межжестовые движения, сообщили в НЭТИ. 

Ученые из Сибири отмечают, что в настоящее время продолжают работать над своим проектом и намерены добиться распознавания программой дактиля — вспомогательной системы русского жестового языка, где каждому жесту соответствует буква. 

Затем исследователи хотят обучить систему переводить сообщения как с жестового языка, так и на него, чтобы ей свободно могли пользоваться глухие и слабослышащие люди. Кроме того, в планах специалистов обучить ИИ переводить и с других жестовых языков мира.