Распознавание нарушителей в условиях неконтролируемой среды является важнейшей функцией систем контроля безопасности (СКБ), основанных на биометрии и обеспечивающих защиту на объектах с массовым скоплением людей. Повысить точность подобных систем возможно за счет объединения нескольких различных биометрических признаков, полученных по видеоизображениям. Однако при работе с видеоизображениями возникает ряд проблем, связанных с изменением точки обзора, контрастности, освещения, окклюзией, посторонних объектов на заднем плане, с выбором уровня объединения биометрических признаков. Для решения данной проблемы предложен комплексный подход к распознаванию нарушителя, основанный на предварительной обработке видеоизображений, а также интеграции двух сверточных нейронных сетей (СНС), теории Демпстера-Шефера, метода случайного леса для объединения поведенческих биометрических признаков на уровне оценок соответствия и классификации видеоизображений. В качестве биометрических признаков рассматриваются походка и жестикуляция, поскольку их можно наблюдать без прямого взаимодействия с человеком. Для решения задачи классификации определено три класса видеоизображений: класс 1 – человек не является нарушителем, класс 2 – потенциальный нарушитель, класс 3 – нарушитель. В работе также представлена обобщенная схема комплексного подхода к распознаванию нарушителя с подробным описанием этапов. Для оценки эффективности предложенного комплексного подхода были проведены эксперименты с набором данных KTH Dataset, который содержит шесть типов простых действий человека, совершенных разными людьми на различных фонах. Результаты исследований показали, что предложенный подход повышает точность распознавания нарушителя по видеоизображениям в условиях неконтролируемой среды (точность классификации составила 87%).
