ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ ОБНАРУЖЕНИЯ ПРЕПЯТСТВИЙ И ПРЕДСКАЗАНИЯ ПОВЕДЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ НА ЖЕЛЕЗНОДОРОЖНЫХ ПУТЯХ

  • Д.Л. Шишков МФТИ
  • М.Н. Зарипов МФТИ
  • Р.А. Горбачев МФТИ
Ключевые слова: Система компьютерного зрения, нейронные сети, метод Лукаса–Канаде, карта глубины, фотограмметрия

Аннотация

В настоящее время повышение качества предоставляемых транспортных и логи-
стических услуг напрямую связано с внедрением новых и модернизацией существующих
технологий информатизации и цифровизации. Одной из наиболее актуальных задач, ре-
шаемых с помощью внедрения цифровых технологий в существующие технологические
процессы, является повышение безопасности движения поездов. Анализ отечественных и
зарубежных работ, посвящённых разработке систем повышения безопасности движения
поездов показал, что одним из методов решения поставленной задачи является разработ-
ка и внедрение систем технического зрения для обнаружения объектов инфраструктуры и
препятствий по ходу движения поезда. Это особенно актуально при увеличении скоростей
движения поездов, когда машинисту бывает сложно правильно оценить сложившуюся
ситуацию и принять оперативное решение. В данной работе описана реализация системы
технического зрения для беспилотных поездов. В ее рамках был реализован новый подход к
обучению узкоспециализированной масочной нейронной сети. Основной задачей этой сис-
темы является распознавание препятствий и фигур человека на фоне железнодорожной
инфраструктуры, определения их местоположения относительно рельсовых путей и оцен-
ки этой ситуации с точки зрения безопасности движения. Для получения более качествен-
ной маски был использован подход одновременного использования изображений стандарт-
ных камер CVS и камер с более высоким разрешением. Данный метод способен повысить
качество распознавания, особенно на больших расстояниях, когда интересующий объект
не заметен в сложной среде окружающей его обстановки. Выполненная работа показала
хорошие результаты по идентификации объектов на железнодорожных путях. Создание
прототипа такой системы и оснащение ей тягового подвижного состава позволит реали-
зовать своевременное обнаружение препятствий и людей на пути поезда, что способству-
ет повышению уровня безопасности движения поездов.

Литература

1. Fioretti F., Ruffaldi E., Avizzano C. A. A single camera inspection system to detect and localize
obstacles on railways based on manifold Kalman filtering, 2018 IEEE 23rd International
Conference on Emerging Technologies and Factory Automation (ETFA). IEEE, 2018, Vol. 1,
pp. 768-775.
2. Minakov V.A., Fomenko V.K. Tekhnologiya mashinnogo zreniya na lokomotivakh dlya
identifikatsii putevykh signalov [Technology of machine vision on locomotives for identification of
track signals], Mir transporta [Mir transport.], 2020, Vol. 17, No. 6, pp. 62-72.
3. Mukojima H. et al. Moving camera background-subtraction for obstacle detection on railway tracks,
2016 IEEE international conference on image processing (ICIP). IEEE, 2016, p. 3967-3971.
4. Kyatsandra A.K. et al. Development of TRINETRA: A Sensor Based Vision Enhancement
System for Obstacle Detection on Railway Tracks, IEEE Sensors Journal, 2022.
5. He D. et al. Obstacle detection in dangerous railway track areas by a convolutional neural
network, Measurement Science and Technology, 2021, Vol. 32, No. 10, pp. 105401.
6. Sheikh Y., Zhai Y., Shafique K. and Shah M. Visual monitoring of railroad grade crossing,
Proc. SPIE Sensors and Command Control Communications and Intelligence (C3I) Technologies
for Homeland Security and Homeland Defense III, 2004, Vol. 5403, pp. 654-660.
7. Konovalenko I. Overview of methods for estimation the observed velocity of the object in the
video stream, Upravlenie, informatsiya i optimizatsiya (VI TMSH) [Management, Information
and optimization (VI TMSH)], 2014, pp. 34-34.
8. Le James. How to do Semantic Segmentation using Deep learning. Available at:
https://nanonets.com/blog/how-to-do-semantic-segmentation-using-deep-learning.
9. Lateef F., Ruichek Y. Survey on semantic segmentation using deep learning techniques,
Neurocomputing, 2019, Vol. 338, pp. 321-348.
10. Vizil'ter Yu.V., Zheltov S.Yu., Bondarenko A.V. i dr. Obrabotka i analiz izobrazheniy v
zadachakh mashinnogo zreniya [Image processing and analysis in machine vision problems].
Moscow: Fizmatkniga, 2010, 672 p.
11. He K. et al. Mask r-cnn, Proceedings of the IEEE international conference on computer vision,
2017, pp. 2961-2969.
12. TensorFlow 2 Detection Model Zoo. Available at: https://github.com/tensorflow/ models/
blob/master/research/object_detection/g3doc/tf2_detection_zoo.md.
13. Gulli A., Kapoor A., Pal S. Deep learning with TensorFlow 2 and Keras: regression,
ConvNets, GANs, RNNs, NLP, and more with TensorFlow 2 and the Keras API. Packt Publishing
Ltd, 2019.
14. Bradski G., Kaehler A. OpenCV, Dr. Dobb’s journal of software tools, 2000, Vol. 3, pp. 2.
15. ROS Kinetic Kame. - URL: http://wiki.ros.org/kinetic.
16. Chang Q., Maruyama T. Real-time stereo vision system: a multi-block matching on GPU,
IEEE Access, 2018, Vol. 6, pp. 42030-42046.
17. Banz C., Blume H., Pirsch P. Real-time semi-global matching disparity estimation on the
GPU, 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops).
IEEE, 2011, pp. 514-521.
18. Fairchild C., Harman T.L. ROS Robotics By Example: Learning to control wheeled, limbed,
and flying robots using ROS Kinetic Kame. Packt Publishing Ltd, 2017.
19. Karpachevskiy V.V. Pravila tekhnicheskoy ekspluatatsii zheleznykh dorog [Rules of technical
operation of railways], 2017.
20. Sam Schauland, Joerg Velten, Anton Kummert. Motion-Based Object Detection for Automotive
Applications using Multidimensional Wave Digital Filters, VTC Spring 2008 - IEEE Vehicular
Technology Conference, Singapore, Singapore, 20 May 2008, pp. 2700-2704.
Опубликован
2022-04-21
Выпуск
Раздел
РАЗДЕЛ V. ТЕХНИЧЕСКОЕ ЗРЕНИЕ