ОЦЕНКА ПРОСТРАНСТВЕННОГО ПОЛОЖЕНИЯ БОРТОВОЙ КАМЕРЫ ПУТЕМ СОПОСТАВЛЕНИЯ АЭРОФОТОСНИМКОВ И ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ
DOI:
https://doi.org/10.18522/2311-3103-2026-1-%25pКлючевые слова:
Локализация роботов, системы технического зрения, визуальная навигация, искусственные нейронные сети, ключевые точки, Perspective-n-PointАннотация
Описан метод оценки пространственного положения бортовой камеры летательного аппарата, заключающийся в сопоставлении аэрофотоснимков и геопривязанных данных дистанционного зондирования Земли (ДДЗ) путем обнаружения нейросетевым детектором устойчивых в пространстве и времени реперных точек в обоих наборах данных и дальнейшим решением известной задачи Perspective-n-Point (PnP) для оценки матриц поворота и перемещения, минимизирующих ошибку перепроецирования, исходя из соответствий точек 3D мирового пространства и 2D точек их проекций на матрицу бортовой камеры, что может быть использовано для решения актуальной задачи локализации летательных аппаратов в условиях отсутствия сигналов глобальной навигационной спутниковой системы. В качестве устойчивых реперных точек, хорошо выделяемых на данных ДДЗ и аэрофотоснимках, в работе выбраны перекрестки дорог, альтернативным выбором могут являться другие локальные семантические паттерны изображений, характерные для конкретной местности. Поскольку прямое сопоставление снимков ДДЗ и бортовых снимков затруднено вследствие существенной разницы условий съемки, предлагается применение устойчивых детекторов реперных точек на основе алгоритмов искусственных нейронных сетей (ИНС). Для обучения устойчивого детектора создан смешанный датасет на основе спутниковых снимков и данных бортовой съемки. При разметке данных смешанного датасета использована функция нормализованного к единице 3D гауссиана с вершиной в центре перекрестка, график которой проецируется на 2D маску обучающего набора. Параметры функции гауссиана рассчитываются на основе радиуса окружности, описывающей перекресток. Использование функции нормализованных гауссиан с вершиной в геометрическом центре проекции перекрестка позволяет обучить сеть предсказывать вероятность принадлежности каждого пикселя изображения к перекрестку, с максимумом в центре перекрестка, что увеличивает точность позиционирования за счет более точной геопривязки реперной точки мирового 3D набора. В качестве детектора перекрестков в работе обучена ИНС архитектуры типа U-Net, в качестве метрики качества обучения использован дифференцируемый аналог метрики Dice, в качестве оптимизатора использован AdamW в связке с косинусным планировщиком скорости обучения CosineAnnealingLR. В заключительной части работы приведены результаты сопоставления спутниковых данных и бортового снимка предложенным методом
Библиографические ссылки
1. Stepanov O.A., Nosov A.S. Algoritm korrektsii navigatsionnoy sistemy po dannym karty i izmeritelya, ne trebuyushchiy predvaritel'nogo otsenivaniya znacheniy polya vdol' proydennoy traektorii [Algorithm for correcting a navigation system based on map and meter data that does not require preliminary estimation of field values along the trajectory], Giroskopiya i navigatsiya [Gyroscopy and Navigation], 2020, Vol. 28, No. 2 (109), pp. 70-90.
2. Scaramuzza D., Fraundorfer F. Visual Odometry [A Survey], IEEE Robotics and Automation Maga-zine, 2011.
3. Reichenbach M., Damker H., Federrath H., and Rannenberg K. Individual management of personal reachability in mobile communication, Proc. of the 13th International Information Security Conference, Copenhagen, Denmark, May 1997, pp. 164-174.
4. Lowe D.G. Distinctive image features from scale invariant keypoints, International journal of computer vision, 2004, 60 (2), pp. 91-110.
5. Bay H., Ess A., Tuytelaars T., and Van Gool L. Speeded-up robust features (SURF), Computer vision and image under-standing, 2008, 110 (3), pp. 346-359.
6. Cadena C., Carlone L., Carrillo H., Latif Y., Scaramuzza D., Neira J., Reid I.D., Leonard J.J. Simulta-neous Localization and Mapping: Present, Future, and the Robust-Perception Age, IEEE Transactions on Robotics (cond. Accepted), 2016.
7. Ghouaiel N. and Lefevre S. Coupling ground-level panoramas and aerial imagery for change detection, Geo-spatial Information Science, 2016, 19 (3), pp. 222-232.
8. Shukla P., Goel S., Singh P., and Lohani B. Automatic geolocation of targets tracked by aerial imaging platforms using satellite imagery, The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, 40 (1):381.
9. Dunegan E.D., Luecke T.E. Strapdown Inertial Navigation System Developments, Proceedings of the AIAA Guidance and Control Conference, 1965.
10. LeCun Y., Bottou L., Bengio Y., и Haffner P. Gradient-based learning applied to document recognition, Proceedings of the IEEE, 1998, Vol. 86, No. 11, pp. 2278-2324.
11. Krizhevsky A., Sutskever I., and Hinton G.E. ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems, 2012, Vol. 25.
12. Simonyan K. и Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition, arXiv preprint arXiv:1409.1556, 2015.
13. He K., Zhang X., Ren S., и Sun J. Deep Residual Learning for Image Recognition, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778.
14. Kendall A., Grimes M., Cipolla R. PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization, Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2015.
15. Dosovitskiy A., Beyer L., Kolesnikov A. et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, arXiv preprint, 2020.
16. Arandjelović R., Gronat P., Torii A., Pajdla T., & Sivic J. NetVLAD: CNN architecture for weakly su-pervised place recognition, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 5297-5307.
17. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmenta-tion / In: Navab, N., Hornegger, J., Wells, W., Frangi, A. (eds), Medical Image Computing and Com-puter-Assisted Intervention – MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, Vol. 9351. Springer, Cham, 2015. Available at: https://doi.org/10.1007/978-3-319-24574-4_28.
18. Ulmas Priit & Liiv Innar. (2020). Segmentation of Satellite Imagery using U-Net Models for Land Cov-er Classification, 10.48550/arXiv.2003.02899.
19. Yadavendra S., Chand S. Semantic segmentation and detection of satellite objects using U-Net model of deep learning, Multimed Tools Appl., 2022, 81, pp. 44291-44310. Available at: https://doi.org/10.1007/s11042-022-12892-2.
20. Eric Marchand, Hideaki Uchiyama, and Fabien Spindler. Pose Estimation for Augmented Reality:
A Hands-On Survey, IEEE Transactions on Visualization and Computer Graphics, December 2016, 22 (12), pp. 2633-2651.
21. Martin A. Fischler and Robert C. Bolles. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, Comm. of the ACM: journal, 1981, June (Vol. 24), pp. 381-395. doi: 10.1145/358669.358692.
