Разработано приложение, способное распознавать и интерпретировать алфавит испанского языка жестов

Группа робототехники и трехмерного зрения (RoViT) Университета Аликанте (UA) разработала первое приложение, способное распознавать и интерпретировать алфавит испанского языка жестов (известный под аббревиатурой LSE) в режиме реального времени. Приложение называется Sign4all и представляет собой прорыв, который помогает разрушить коммуникативные барьеры между глухими и слышащими людьми в повседневных ситуациях, таких как поход к врачу или прием пищи в ресторане. Согласно последнему исследованию ситуации с инвалидностью, личной автономией и зависимостью, проведенного Испанским национальным статистическим институтом (INE), в Испании насчитывается 1 230 000 человек с нарушениями слуха различных типов и степеней. Из них 27 300 человек используют язык жестов для общения. Благодаря использованию различных методов компьютерного зрения и глубокого обучения , к.т.н. инженер-компьютерщик и исследователь UA Эстер Мартинес вместе с доктором философии. Студент Франсиско Морильяс разработал этот недорогой инструмент, чтобы иметь возможность предлагать помощь глухим людям , когда им не может помочь переводчик. Sign4all, после извлечения деталей скелета рук и кистей, кодирует левую сторону тела синим цветом, а правую — красным, сохраняя анонимность пользователя в любое время. С этого момента приложение переводит используемый глухим человеком знак в режиме реального времени и в обратном направлении. Он может использовать виртуальный аватар для подписи испанских слов, набранных слышащим человеком. Идея состоит в том, что весь этот процесс можно выполнить, загрузив приложение и используя камеру самого мобильного телефона или планшета, чтобы его можно было использовать где угодно, как объяснил Мартинес. По словам исследователя UA, после многих тестов Sign4all удается интерпретировать и распознавать алфавит LSE с точностью до 80%. Хотя этот результат соответствует дактилологическому алфавиту, они работают над версией со специальным словарным запасом, относящимся к области повседневных задач, где они могут интерпретировать полные предложения. Команда UA месяцами обучала эту новую систему, вводя все больше и больше знаков. В этом смысле возникло сотрудничество с Исследовательской группой испанского языка и жестовых языков Университета Виго (GRILES), командой с большим опытом изучения этого языка и его использования на разных территориях. Университет Виго собирает изображения с интерпретаторами, а UA обрабатывает все эти данные. Таким образом, словарный запас системы распознавания и интерпретации LSE может быть улучшен и расширен гораздо быстрее....

Читайте полную новость на android-robot.com

Опубликовано: 20:00, 21.02.2023

Новость из рубрики: Интернет, Игры

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ новости часа