УСКОРЕНИЕ ПРЯМОГО ПРОХОДА ПРИ РЕАЛИЗАЦИИ СНС НА ОГРАНИЧЕННОМ ВЫЧИСЛИТЕЛЬНОМ РЕСУРСЕ

А.Е. Щелкунов; В.В. Ковалев; И. В. Сидько; Н. Е. Сергеев

А.Е. Щелкунов Акционерное общество Научно–конструкторское бюро вычислительных систем
В.В. Ковалев Акционерное общество Научно–конструкторское бюро вычислительных систем
И. В. Сидько Акционерное общество Научно–конструкторское бюро вычислительных систем
Н. Е. Сергеев Акционерное общество Научно–конструкторское бюро вычислительных систем

Ключевые слова: Оптимизация выполнения прямого прохода сверточной нейронной сети, трекинг

Аннотация

Работа посвящена оптимизации архитектуры нейронной сети для ее запуска на ограни-
ченном вычислительном ресурсе. Рассмотрено несколько подходов оптимизации, приведены
оценки сложности и времени выполнения прямого прохода нейронной сети. Приведены сравни-
тельные оценки сложности сети при применении разных подходов оптимизации. В работе
представлен анализ выбранной архитектуры сети, получены оценки вычислительной сложно-
сти отдельных составных частей (модулей) архитектуры. Произведен анализ возможных ме-
тодов оптимизации каждого модуля. Описаны параметры рассмотренных модулей, размеры
входных и выходных тензоров. Для оптимизации модуля выделения признаков протестировано
несколько архитектур, ResNet 50, ResNet 18, MobileNet v3 small, MobileNet v3 large. Представлен
сравнительный анализ вычислительной сложности и времени выполнения прямого прохода для
каждой архитектуры. Замеры времени выполнения прямого прохода осуществлялись на
встраиваемом вычислительном устройстве Jetson AGX Xaver от компании Nvidia. Представле-
ны оценки времени выполнения прямого прохода для каждого модуля рассматриваемых нейрон-
ных сетей. В работе приведены результаты сравнения оценок точности нейронной сети до и
после оптимизации архитектуры. Набор данных для тестирования состоит из 100 видео запи-
сей. В тестовых видеозаписях участвует 5 различных типовых объектов, для каждого класса
объекта записано 10 различных сценариев. Для каждой из разработанных архитектур получе-
ны оценки точности, произведен сравнительный анализ. В работе намечены пути для после-
дующей оптимизации архитектуры сети.

Литература

1. Available at: https://www.votchallenge.net/vot2021/.
2. Bhat G., Danelljan M., Luc Van Gool Radu Timofte. Learning Discriminative Model Prediction
for Tracking, IEEE/CVF International Conference on Computer Vision (ICCV), 2019.
3. Kristan M., Matas J., Leonardis A., et. all. The Ninth Visual Object Tracking VOT2021 Challenge
Results. VOT2021 challenge workshop, ICCV workshops, 2021.
4. Kristan M., Matas J., Leonardis A., et. all. The Eighth Visual Object Tracking VOT2020 Challenge
Results. ECCV2020 workshops, 2020.
5. Howard et al A. Searching for MobileNetV3, 2019 IEEE/CVF International Conference on
Computer Vision (ICCV), 2019, pp. 1314-1324. DOI: 10.1109/ICCV.2019.00140.
6. Jiang B., Luo R., Mao J., Xiao T. Acquisition of Localization Confidence for Accurate Object
Detection. ECCV 2018.
7. Bhat G., Danelljan M., Khan F. IEEE/CVF Conference on Computer Vision and Pattern
Recognition (CVPR), 2019.
8. Shchelkunov A.E., Kovalev V.V., Morev K.I., Sid'ko I.V. Metriki otsenki algoritmov
avtomaticheskogo soprovozhdeniya [Metrics for evaluating automatic tracking algorithms],
Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences,] 2020, No. 1,
pp. 233-245.
9. Kasturi R., Goldgof D., Soundararajan P., Manohar V., Garofolo J., Bowers R., Boonstra M.,
Korzhova V., Zhang J. Framework for performance evaluation of face, text, and vehicle detection
and tracking in video: data, metrics, and protocol, TPAMI, 2009, Vol. 31, No. 2, pp. 319-326.
10. Vencel E.S., Ovcharov L.A. Probability theory and its engineering applications. Handbook for
universities. 2-nd. Мoscow: High school, 2000, 480 p.
11. Nawaz T., Cavallaro A. A protocol for evaluating video trackers under real-world conditions,
Image Processing IEEE, 2013, Vol. 22, No. 4, pp. 1354-1361
12. Yang M., Wu Y., Hua G. Context–aware visual tracking, IEEE transactions on pattern analysis
and machine intelligence, 2006, No. 31, pp. 1195-1209.
13. Stauffer C., Grimson W. Learning patterns of activity using real–time tracking, IEEE Transactions
on Pattern Analysis and Machine Intelligence, 2000, pp. 747-757.
14. Sundaresan A., Chellappa R. Multi–camera tracking of articulated human motion using shape
and motion cues, IEEE Transactions on Image Processing, 2009, pp. 2114-2126.
15. Henriques F., Caseiro R., Martins P., Batista J. High-Speed Tracking with Kernelized Correlation
Filters, TPAMI, 2014, Vol. 42, No. 5, pp. 345-362.
16. Frey J. Dueck D. Clustering by Passing Messages Between Data Points, Science Today, 2007,
Vol. 315, pp. 972-976.
17. Smith K., Gatica-Perez D., Odobez J. Evaluating Multi-Object Tracking, CVPR Work. IEEE,
2005, Vol. 3, pp. 32-36.
18. Black J., Ellis T., Rosin P. A novel method for video tracking performance evaluation,
VS-PETS, 2003, pp. 125-132.
19. Kao E., Daggett M., Hurley M. An information theoretic approach for tracker performance
evaluation, CVPR, 2009, pp. 1523-1529.
20. Bashir F. Porikli F. Performance Evaluation of Object Detection and Tracking Systems,
PETS, 2006, pp. 190-203.
21. Checka N., Wilson K., Rangarajan V., Darrell T. A probabilistic framework for multi-modal
multi-person tracking, Proceedings of the IEEE Workshop on Multi-Object Tracking
(WOMOT ’03), 2003, pp. 203-212.