АЛГОРИТМ РАСПОЗНАВАНИЯ ЯЗЫКА ЖЕСТОВ С ИСПОЛЬЗОВАНИЕМ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ

Аннотация

Рассматривается задача автоматического распознавания русского жестового языка (РЖЯ) на основе методов компьютерного зрения и глубокого обучения. Актуальность исследования обусловлена устойчивым ростом численности лиц с нарушениями слуха: по данным Всемирной организации здравоохранения, в настоящее время их количество составляет около 70 млн человек, и, согласно прогнозам, может увеличиться до 630 млн к 2035 году. Разработка эффективных алгоритмов распознавания жестов является важным направлением создания систем бесконтактного человеко-машинного взаимодействия, направленных на повышение доступности информационных технологий и улучшение качества жизни людей с ограниченными возможностями слуха. Целью работы является разработка и экспериментальная апробация алгоритма распознавания букв русского жестового языка в видеопотоке в реальном времени с использованием сверточной нейронной сети. В ходе исследования сформирован специализированный датасет, включающий 430 изображений жестов, соответствующих буквам алфавита РЖЯ, представленных с различных ракурсов и при изменяющихся условиях освещения. Для реализации модели использованы библиотеки TensorFlow и Keras, а интеграция с видеопотоком выполнена с применением средств OpenCV и системы отслеживания положения руки на основе маркеров. В результате проведенного обучения и тестирования предложенная модель продемонстрировала точность распознавания на уровне 99 % на тестовой выборке. Проведён сравнительный анализ с классическими методами машинного обучения, показавший преимущество сверточной нейронной сети по точности классификации и устойчивости к внешним помехам. Полученные результаты подтверждают эффективность предложенного подхода и его применимость для создания систем реального времени, предназначенных для коммуникационных, образовательных и реабилитационных приложений, а также для разработки интерфейсов человеко-машинного взаимодействия