Как сообщает ТАСС, разработка системы началась после обращения одной из организаций для реабилитации глухих людей. Там обратили внимание на проблему посещения медицинских учреждений – глухонемым приходится брать с собой переводчика с жестового языка, чтобы объясняться с врачом, но переводчиков часто не хватает.
Программа обеспечивает фиксацию жестов при помощи видеокамеры, а конвертация в текст происходит в реальном времени. Алгоритм натренирован определять 85 наиболее актуальных в медицине жестовых высказываний – они были записаны 12 дикторами в пяти вариантах.
Точность системы, по словам разработчиков, составляет более 90%. Специалисты института планируют продолжить работу над технологиями, повышающими качество жизни глухих людей.