Статья

Название статьи МЕТОД ПРОСТРАНСТВЕННОЙ ЛОКАЛИЗАЦИИ СТАТИЧЕСКИХ ОБЪЕКТОВ ПО ДАННЫМ ДАТЧИКА ГЛУБИНЫ И RGB-КАМЕРЫ
Автор А. О. Пьявченко, А. В. Ильченко
Рубрика РАЗДЕЛ V. ТЕХНИЧЕСКОЕ ЗРЕНИЕ
Месяц, год 01, 2018
Индекс УДК 519.67(004.02)+007.52(004.93’11)
DOI
Аннотация Задача выполненных исследований состояла в улучшении качества работы бортовой системы технического зрения мобильной роботизированной платформы, обеспечивающей локализацию статических препятствий (объектов) в трехмерном априори недетерминированном окружающем пространстве за счет совместного применения бортовых датчиков глубины и RGB-камеры. В статье рассматривается комплексный метод пространственной локализации объектов, известный под названием DARP (Depth-Assisted Rectification of Patches, англ.). Выполнены оценки эффективности его применения для обнаружения и локализации объектов по данным бортовых датчиков глубины с применением различных вариантов детекторов устойчивых признаков. С целью повышения эффективности применения метода DARP для мобильных роботизированных платформ в его состав предложено ввести ряд алгоритмов SLAM (Simultaneous Location And Mapping, англ.). Так, в качестве детектора и дескриптора устойчивых признаков рекомендуется использовать ORB-метод (Oriented FAST and Rotated BRIEF, англ.), а анализ текущей ситуации выполнять с учетом предыстории ее развития. В результате на бортовом вычислителе появилась возможность в реальном масштабе времени проводить оценку габаритов объектов, исправление или частичное восстановление искаженных или поврежденных участков кадров изображения, определять принадлежность дистантных данных к тому или иному объекту, находящемуся в зоне действия СТЗ платформы. Перечисленные теоретические предпосылки были апробированы на исследовательском программном комплексе, разработанном в среде ROS на Linux-совместимой операционной платформе и реализующем предложенный подход к решению задачи обнаружения и локализации объектов по данным датчиков глубины. Результаты успешной апробации разработанного программного комплекса с применением бортового компьютера Intel NUC NUC6I5SYH Mini-PC и двух Intel RealSense 3D-Camera (RGB-D камер) с USB3.0 подключением к компьютеру позволили обеспечить получение, обработку и визуализацию RGB- и дистантных данных, поступающих с вышеуказанных камер из состава бортовой системы технического зрения мобильной роботизированной платформы. Ряд экспериментов, выполненных на предложенном комплексе, доказал, что в сравнении с аналогами разработанный и программно-реализованный набор алгоритмов метода ORB+DARP, ориентированного на применение RGB-D-камер, обеспечивает требуемое улучшение характеристик бортовой системы технического зрения при решении задачи обнаружения и пространственной локализации объектов, расположенных по ходу движения мобильной роботизированной платформы.

Скачать в PDF

Ключевые слова Техническое зрение; мобильная роботизированная платформа; обнаружение и локализация объектов; RGB-D-камера; облако точек; локальная навигация; метод DARP; характеристические признаки, устойчивые к пространственным искажениям; метод ORB; программный комплекс; среда ROS.
Библиографический список 1. Разработка мультимедийных приложений с использованием библиотек OpenCV и IPP: Задача детектирования объектов на изображениях и методы ее решения // НОУ ИНТУИТ. – URL: https://www.intuit.ru/studies/courses/10622/1106/lecture /18020?page=4 (дата обращения: 26.02.2018).
2. Анализ движения в задачах видеонаблюдения // Техническое зрение. – URL: http://wiki.technicalvision.ru/index.php?title=Анализ_движения_в_задачах_видеонаблюдения&oldid=896 (дата обращения: 26.02.2018).
3. Свёрточная нейронная сеть // Википедия. Дата обновления: 11.01.2018. – URL: http://ru.wikipedia.org/?oldid=90226289 (дата обращения: 26.02.2018).
4. Juergen Schmidhuber Deep Learning in Neural Networks: An Overview // Neural Networks.
– Jan 2015. – Vol. 61. – P. 85-117.
5. Lima J.P., Simoes F., Uchiyama H., Teichrieb V., Marchand E., et al.: Depth-assisted rectification of patches using rgb-d consumer devices to improve real-time keypoint matching // In: Int. Conf. on Computer Vision Theory and Applications, Visapp 2013. – P. 651-656.
6. Lima J.P., Teichrieb V., Uchiyama H., Marchand E., et al. Object detection and pose estimation from natural features using consumer rgb-d sensors: Applications in augmented reality // In: IEEE Int. Symp. on Mixed and Augmented Reality (doctoral symposium), ISMAR’12. – P. 1-4.
7. Lima J.P., Simoes F., Uchiyama H., Teichrieb V., Marchand E. Depth-assisted rectification for real-time object detection and pose estimation.
8. Harris C., Stephens M. A combined corner and edge detector // Alvey vision conference.
– Manchester: The Plessey Company, 1988. – Т. 15. – P. 147-151.
9. Rosten Edward and Drummond Tom Machine learning for high-speed corner detection // European Conference on Computer Vision (ECCV). – Graz, 2006. – Vol. 9. – P. 430-443.
10. Lowe David G. Distinctive image features from scale-invariant keypoints // International journal of computer vision. – Springer Netherlands, 2004. – 2: Vol. 60. – P. 91-110.
11. Berkmann J., Caelli T. Computation of surface geometry and segmentation using covariance techniques // Pattern Analysis and Machine Intelligence // IEEE Transactions on 16 (11), 1994. – P. 1114-1116.
12. Brockett R. Robotic manipulators and the product of exponentials formula. // International Symposium on Mathematical Theory of Networks and Systems. – 1984. – P. 120-127.
13. Rublee Ethan, et. al. ORB: an efficient alternative to SIFT or SURF // International Conference on Computer Vision (ICCV). – Barcelona: IEEE, 2011.
14. Bay H., Ess A., Tuytelaars T., Van Gool L. Speeded-up robust features (surf) // Computer vision and image understanding. – 2008. – Vol. 110 (3). – P. 346-359.
15. Calonder M., Lepetit V., Strecha C., and Fua P. Brief: Binary robust independent elementary features. // European Conference on Computer Vision. – 2010. – P. 778-792.
16. Lee Wonwoo, Park Nohyoung and Woo Woontack Depth-assisted Real-time 3D Object Detection for Augmented Reality // International Conference on Artificial Reality and Telexistence (ICAT). – Osaka, 2011. – Vol. 21. – P. 126-132.
17. Rosten, Edward; Tom Drummond. Fusing points and lines for high performance tracking // IEEE International Conference on Computer Vision. 2. – IEEE, 2005. – P. 1508-1511.
18. Rosin P.L. Measuring corner properties // Computer Vision and Image Understanding. – 1999. – Vol. 73 (2). – P. 291-307.
19. Everingham M, Zisserman A., Williams C., Van Gool L. The PASCAL Visual Object Classes Challenge 2006 (VOC2006). [Report]. – 57 p.
20. Labbé M. and Michaud F. Memory management for real-time appearance-based loop closure detection // in Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. – 2011. – P. 1271-1276. (IEEE Xplore).
21. Labbé M. and Michaud F. Appearance-Based Loop Closure Detection for Online Large-Scale and Long-Term Operation // in IEEE Transactions on Robotics. – 2013. – Vol. 29, no. 3.
– P. 734-745, (IEEE Xplore).
22. Ильченко А.В., Пьявченко А.О. Проблемы построения системы технического зрения мобильного робота на основе инфракрасного 3D-датчика глубины окружающего пространства // Сб. трудов XIII Всероссийской научн. конф. мол. уч., асп. и студ. «Информационные технологии, системный анализ и управление (ИТСАиУ-2015)». – Ростов-на-Дону: Изд-во ЮФУ, 2016. – Т. 3. – C. 50-60.
23. Пьявченко А.О., Переверзев В.А., Ильченко А.В. Технология SLAM и методологические проблемы ее реализации в робототехнике // Сб. трудов XIV Всероссийской научн. конф. мол. уч., асп. и студ. «Информационные технологии, системный анализ и управление (ИТСАУ-2016)». – Ростов-на-Дону: Изд-во ЮФУ, 2016. – Т. 2. – C. 345-351.
REFERENCES
1. Razrabotka mul'timediynykh prilozheniy s ispol'zovaniem bibliotek OpenCV i IPP: Zadacha detektirovaniya ob"ektov na izobrazheniyakh i metody ee resheniya [Development of multimedia applications using OpenCV and IPP libraries: The task of detecting objects on images and methods for solving it], NOU INTUIT [NEU INTUIT]. Available at: https://www.intuit.ru/studies/courses/10622/1106/lecture /18020?page=4 (accessed 26 February 2018).
2. Analiz dvizheniya v zadachakh videonablyudeniya [Motion analysis in video surveillance problems], Tekhnicheskoe zrenie [Technical vision]. Available at: http://wiki.technicalvision.ru/ index.php?title=Analiz_dvizheniya_v_zadachakh_videonablyudeniya&oldid=896 (accessed 26 February 2018).
3. Svertochnaya neyronnaya set' [Convolutional Neural Network], Vikipediya. Data obnovleniya: 11.01.2018 [Wikipedia contributors. Last changes: 11.01.2018]. Available at: http://ru.wikipedia.org/?oldid=90226289 (accessed 26 February 2018).
4. Juergen Schmidhuber Deep Learning in Neural Networks: An Overview, Neural Networks, Jan 2015, Vol. 61, pp. 85-117.
5. Lima J.P., Simoes F., Uchiyama H., Teichrieb V., Marchand E., et al.: Depth-assisted rectification of patches using rgb-d consumer devices to improve real-time keypoint matching, In: Int. Conf. on Computer Vision Theory and Applications, Visapp 2013, pp. 651-656.
6. Lima J.P., Teichrieb V., Uchiyama H., Marchand E., et al. Object detection and pose estimation from natural features using consumer rgb-d sensors: Applications in augmented reality, In: IEEE Int. Symp. on Mixed and Augmented Reality (doctoral symposium), ISMAR’12, pp. 1-4.
7. Lima J.P., Simoes F., Uchiyama H., Teichrieb V., Marchand E. Depth-assisted rectification for real-time object detection and pose estimation.
8. Harris C., Stephens M. A combined corner and edge detector, Alvey vision conference. Manchester: The Plessey Company, 1988, Vol. 15, pp. 147-151.
9. Rosten Edward and Drummond Tom Machine learning for high-speed corner detection, European Conference on Computer Vision (ECCV). Graz, 2006, Vol. 9, pp. 430-443.
10. Lowe David G. Distinctive image features from scale-invariant keypoints, International journal of computer vision. Springer Netherlands, 2004. 2: Vol. 60, pp. 91-110.
11. Berkmann J., Caelli T. Computation of surface geometry and segmentation using covariance techniques // Pattern Analysis and Machine Intelligence, IEEE Transactions on 16 (11), 1994, pp. 1114-1116.
12. Brockett R. Robotic manipulators and the product of exponentials formula, International Symposium on Mathematical Theory of Networks and Systems, 1984, pp. 120-127.
13. Rublee Ethan, et. al. ORB: an efficient alternative to SIFT or SURF, International Conference on Computer Vision (ICCV). Barcelona: IEEE, 2011.
14. Bay H., Ess A., Tuytelaars T., Van Gool L. Speeded-up robust features (surf), Computer vision and image understanding, 2008, Vol. 110 (3), pp. 346-359.
15. Calonder M., Lepetit V., Strecha C., and Fua P. Brief: Binary robust independent elementary features, European Conference on Computer Vision, 2010, pp. 778-792.
16. Lee Wonwoo, Park Nohyoung and Woo Woontack Depth-assisted Real-time 3D Object Detection for Augmented Reality, International Conference on Artificial Reality and Telexistence (ICAT). Osaka, 2011, Vol. 21, pp. 126-132.
17. Rosten, Edward; Tom Drummond. Fusing points and lines for high performance tracking, IEEE International Conference on Computer Vision. 2. IEEE, 2005, pp. 1508-1511.
18. Rosin P.L. Measuring corner properties, Computer Vision and Image Understanding, 1999, Vol. 73 (2), pp. 291-307.
19. Everingham M, Zisserman A., Williams C., Van Gool L. The PASCAL Visual Object Classes Challenge 2006 (VOC2006). [Report], 57 p.
20. Labbé M. and Michaud F. Memory management for real-time appearance-based loop closure detection, in Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, 2011, pp. 1271-1276. (IEEE Xplore).
21. Labbé M. and Michaud F. Appearance-Based Loop Closure Detection for Online Large-Scale and Long-Term Operation, in IEEE Transactions on Robotics, 2013, Vol. 29, No. 3,
pp. 734-745, (IEEE Xplore).
22. Il'chenko A.V., P'yavchenko A.O. Problemy postroeniya sistemy tekhnicheskogo zreniya mobil'nogo robota na osnove infrakrasnogo 3D-datchika glubiny okruzhayushchego prostranstva [The constructing's problems of a mobile robot's computer vision system based on an infrared 3D depth sensor of the environment], Sb. trudov XIII Vserossiyskoy nauchn. konf. mol. uch., asp. i stud. «Informatsionnye tekhnologii, sistemnyy analiz i upravlenie (ITSAiU-2015)» [Proceedings of the XIII All-Russian Scientific Conference of junior scientists, postgraduate students and students. «Information technology, systems analysis and management (ITSAaM-2015)»]. Rostov-on-Don: Izd-vo YuFU, 2016, Vol. 3, pp. 50-60.
23. P'yavchenko A.O., Pereverzev V.A., Il'chenko A.V. Tekhnologiya SLAM i metodologicheskie problemy ee realizatsii v robototekhnike [SLAM technology and methodological problems of its application in robotics], Sb. trudov XIV Vserossiyskoy nauchn. konf. mol. uch., asp. i stud. «Informatsionnye tekhnologii, sistemnyy analiz i upravlenie (ITSAU-2016)» [Proceedings of the XIV All-Russian Scientific Conference of junior scientists, postgraduate students and students. «Information technology, systems analysis and management (ITSAaM-2016)»]. Rostov-on-Don: Izd-vo YuFU, 2016, Vol. 2, pp. 345-351.

Comments are closed.