Актуальность исследования обусловлена необходимостью повышения точности систем распознавания действий человека в видео за счет интеграции аудиовизуальной информации, позволяющей компенсировать ограничения каждой отдельной модальности. Цель работы – разработка и исследование методов позднего объединения предсказаний независимо обученных видеомодели и аудиомодели для распознавания шести классов действий человека (Archery, BalanceBeam, BasketballDunk, BoxingSpeedBag, FloorGymnastics, SoccerPenalty). В исследовании использованы 3D-сверточные нейронные сети с SE-блоками для обработки видео и гибридная CNN-GRU архитектура для анализа аудио, а также семь методов объединения предсказаний: среднее арифметическое, взвешенное среднее, максимальное голосование, доверительное объединение, стекинг, произведение вероятностей и метод Борда. Эксперименты показали, что методы среднего арифметического и произведения вероятностей обеспечивают максимальную точность 91.67%, превосходя отдельные модальности на 2.33% для цветных и на 5.6% для черно-белых видеомоделей. Доверительное объединение продемонстрировало наилучшие результаты для черно-белых моделей, автоматически адаптируя вклад модальностей на основе энтропии предсказаний. Особое внимание уделено строгому разделению обучающей, валидационной и тестовой выборок по обстановкам съёмки для предотвращения утечки данных и объективной оценки обобщающей способности моделей. Полученные результаты подтверждают практическую ценность предложенного подхода для систем видеонаблюдения и мультимедийных платформ, обеспечивая оптимальный баланс между точностью, вычислительной сложностью и устойчивостью к отсутствию одной из модальностей. Исследование вносит вклад в развитие методов мультимодального машинного обучения и предоставляет практические рекомендации по выбору стратегии объединения в зависимости от доступных вычислительных ресурсов и типа входных данных
