ГИБРИДНЫЙ АЛГОРИТМ АВТОМАТИЧЕСКОГО СОПРОВОЖДЕНИЯ ДЛЯ ВСТРАИВАЕМЫХ ВЫЧИСЛИТЕЛЕЙ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ НАВИГАЦИИ И НАВЕДЕНИЯ

В. А. Тупиков; В. А. Павлова; А.И. Лизин; П.А. Гессен; В. Д. Саенко

В. А. Тупиков АО «Научно-производственное предприятие «Авиационная и морская электроника»
В. А. Павлова АО «Научно-производственное предприятие «Авиационная и морская электроника»;
А.И. Лизин АО «Научно-производственное предприятие «Авиационная и морская электроника»
П.А. Гессен АО «Научно-производственное предприятие «Авиационная и морская электроника»
В. Д. Саенко АО «Научно-производственное предприятие «Авиационная и морская электроника»

Ключевые слова: Автоматическое обнаружение, автоматическое сопровождение, встраиваемые системы, консенсусное решение

Аннотация

Было произведено исследование в области систем технического зрения, а также подходов к
решению задач обнаружения и сопровождения объектов интереса без априорного знания об их
типе с учетом целевой платформы в виде встраиваемого вычислителя оптико-электронной
системы. На основании полученных данных был произведен анализ сферы и предложен новый
гибридный алгоритм сопровождения для встраиваемых систем. Он основан на сочетании
нескольких типов алгоритмов сопровождения, с одним из них в качестве приоритетного,
обеспечивающего основную работу, и нескольких вспомогательных для стабилизации и
расширения функционала приоритетного. Они связаны внешним циклом обработки, который на
основе консенсусного решения внутренних алгоритмов самостоятельно, принимает решение о
положении целевого объекта в кадре и хранит в себе вспомогательную информацию для
обеспечения корректной работы всего алгоритма, а также отвечающего за принятие решения о
повторном обнаружении цели. Предложены две возможные реализации данного подхода используемые в зависимости от мощности доступных вычислительных ресурсов. Реализован
вариант алгоритма для доступных вычислительных мощностей, проведены его полунатурные
испытания на основании реальных видеопоследовательностей. Они представляют разные фоны и
разные структурные объекты интереса с различной динамикой изменения с течением времени.
Проведена оценка результатов работы предложенного алгоритма в задачах обнаружения и
сопровождения объекта интереса в режиме реального времени на представленных видео при
помощи программного комплекса автоматизации тестирования алгоритмов обнаружения и
сопровождения. По итогу алгоритм показал высокую эффективность в поставленных задачах,
улучшив точностные показатели сопровождения, в сравнении с внутренними алгоритмами,
которые работали по-отдельности, за счет добавления поворотной и масштабной
инвариантностей, а также значительно повысил способность к повторному обнаружению
объекта после его потери. В заключении представлены предложения по дальнейшему развитию и
внедрению во встраиваемые вычислители оптико-электронных систем.

Литература

1. Dillon Reis, Jordan Kupec, Jacqueline Hong, Ahmad Daoudi. Real-Time Flying Object Detection
with YOLOv8, ArXiv, 2023. DOI: 10.48550/arXiv.2305.09972.
2. Wang, Chien-Yao & Bochkovskiy, Alexey & Liao, Hong-yuan. YOLOv7: Trainable bag-offreebies
sets new state-of-the-art for real-time object detectors, arXiv, 2022. DOI:
10.48550/arXiv.2207.02696.
3. Bertinetto L., Valmadre J., Henriques J.F., Vedaldi A., Torr P.H.S. Fully-Convolutional Siamese
Networks for Object Tracking. In: Hua G., Jégou H. (eds), Computer Vision – ECCV 2016 Workshops.
ECCV 2016. Lecture Notes in Computer Science, 2016, Vol. 9914. Springer, Cham.
4. Zhang Y., Wang L., Qi J., Wang D., Feng M., Lu H. Structured Siamese Network for Real-Time
Visual Tracking. In: Ferrari V., Hebert M., Sminchisescu C., Weiss Y. (eds), Computer Vision –
ECCV 2018. ECCV 2018. Lecture Notes in Computer Science, 2018, Vol. 11213. Springer, Cham.
5. Li D., Yu Y. & Chen X. Object tracking framework with Siamese network and re-detection
mechanism, J Wireless Com Network, 2019, 261.
6. Fei Chen, Xiaodong Wang, Yunxiang Zhao, Shaohe Lv, Xin Niu. Visual object tracking: A survey,
Computer Vision and Image Understanding, 2022, 222. DOI: 10.1016/j.cviu.2022.103508.
7. Zahra Soleimanitaleb, Mohammad Ali Keyvanrad. Single Object Tracking: A Survey of
Methods, Datasets, and Evaluation Metrics, ArXiv, 2022. DOI: 10.48550/arXiv.2201.13066.
8. Nebehay G. and Pflugfelder R. Consensus-based matching and tracking of keypoints for object
tracking, IEEE Winter Conference on Applications of Computer Vision, Steamboat Springs,
CO, USA, 2014, pp. 862-869. DOI: 10.1109/WACV.2014.6836013.
9. Qi Y., Zhang S., Qin L., Yao H., Huang Q., Lim J., and Yang M.H. Hedged deep tracking,
In CVPR. IEEE, 2016, pp. 4303-4311.
10. Wang N. and Yeung D.-Y. Ensemble-Based Tracking: Aggregating Crowdsourced Structured
Time Series Data, In ICML, 2014.
11. Kalal Z., Mikolajczyk K., Matas J. Tracking-Learning-Detection, IEEE Transactions on Pattern
Analysis and Machine Intelligence, 2012, Vol. 34, No. 7, pp. 1409-1422.
12. Bertinetto L., Valmadre J., Golodetz S., Miksik O. and Torr P.H.S. Staple: Complementary Learners
for Real-Time Tracking, 2016 IEEE Conference on Computer Vision and Pattern Recognition
(CVPR), Las Vegas, NV, USA, 2016, pp. 1401-1409. DOI: 10.1109/CVPR.2016.156.
13. Henriques J.F., et al. High-Speed Tracking with Kernelized Correlation Filters, IEEE Transactions
on Pattern Analysis and Machine Intelligence, 2015, Vol. 37, No. 3, pp. 583-596.
14. Tullsen D.M., Eggers S.J. and Levy H.M. Simultaneous multithreading: Maximizing on-chip
parallelism, Proceedings 22nd Annual International Symposium on Computer Architecture,
Santa Margherita Ligure, Italy, 1995, pp. 392-403.
15. Bolme David, Beveridge J., Draper Bruce, Lui Yui. Visual object tracking using adaptive correlation
filters, Proceedings of the IEEE Computer Society Conference on Computer Vision
and Pattern Recognition, 2010, pp. 2544-2550. DOI: 10.1109/CVPR.2010.5539960.
16. Bondarenko V.A., El'tsova D.K., Lizin A.I., Pavlova V.A., Sozinova M.V., Tupikov V.A.
Mnogoagentnyy algoritm avtomaticheskogo obnaruzheniya i soprovozhdeniya
nedeterminirovannykh ob"ektov [Multi-agent algorithm for automatic detection and tracking
of non-deterministic objects], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering
Sciences], 2020, No. 1 (211), pp. 218-232.
17. Bondarenko V.A., Gagarina A.Yu., Pavlova V.A., Tupikov V.A. Programmnyy kompleks
avtomatizatsii testirovaniya algoritmov obnaruzheniya i soprovozhdeniya ob"ektov na
videoposledovatel'nostyakh [Software package for testing algorithms for detecting and tracking
objects on video sequences], Perspektivnye sistemy i zadachi upravleniya: Mater. XVI
Vserossiyskoy nauchno-prakticheskoy konferentsii i XII molodezhnoy shkoly-seminara
«Upravlenie i obrabotka informatsii v tekhnicheskikh sistemakh» [Promising management systems
and tasks: materials of the XVI All-Russian Scientific and Practical Conference and the
XII youth school seminar "Information Management and processing in technical systems"].
Taganrog: IP Maruk M.R., 2021, 355 p.
18. Gagarina A.Yu., Gessen P.A., Lizin A.I., Pavlova V.A., Sozinova M.V., Tupikov V.A. Kvadratnoobuchaemyy
algoritm avtomaticheskogo obnaruzheniya i soprovozhdeniya nede-terminirovannykh
ob"ektov [A square-trainable algorithm for automatic detection and tracking of non-deterministic
objects], Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki [Proceedings of
Tula State University. Technical Sciences], 2022, 11, pp. 3-13.
19. Rezatofighi H., Tsoi N., Gwak J., Sadeghian A., Reid I. Savarese S., Generalized Intersection Over
Union: A Metric and a Loss for Bounding Box Regression, 2019 IEEE/CVF Conference on Computer
Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp. 658-666.
20. Hodson T.O. Root-mean-square error (RMSE) or mean absolute error (MAE): when to use
them or not, Geoscientific Model Development, 2022, 15, pp. 5481-5487. DOI: 10.5194/gmd-
15-5481-2022.