РАЗРАБОТКА ГИБРИДНОЙ АРХИТЕКТУРЫ СВЁРТОЧНОЙ НЕЙРОННОЙ СЕТИ С ИСПОЛЬЗОВАНИЕМ СПЕКТРАЛЬНЫХ ПРЕОБРАЗОВАНИЙ
DOI:
https://doi.org/10.18522/2311-3103-2026-1-%25pКлючевые слова:
Гибридная СНС, преобразование Уолша, визуальная локализация, сиамские сети, визуальный поиск, WalsPoolingАннотация
Предлагается архитектура гибридной свёрточной нейронной сети, сочетающей спектральные и пространственные слои, а также новый метод подвыборки (WalsPooling). Разработанная система применяется для оценки географической близости пары изображений на основе их визуального сходства. Пара изображений получена с разных сенсоров и определение их визуального сходства осложняется условиями съёмки с разным масштабом, углом наклона сенсора. На основе фрагмента съёмки на малой высоте выполняется поиск в базе данных изображений подстилающей поверхности. Поиск осуществляется в окрестности заданного маршрута на основе вектора признаков изображений, который формируется на последнем слое свёрточной нейронной сети. Система использует сиамскую архитектуру, так как на вход необходимо подавать пару изображений. Актуальность задачи обусловлена необходимостью обеспечения навигации БПЛА в условиях отсутствия или ненадёжности GPS-сигнала. Также рассматривается подход к формированию набора данных и его предварительная обработка. Поиск в базе данных выполняется в окрестности маршрута, что сокращает вычислительные затраты. Эксперименты включают анализ применимости предложенных слоёв (WalsPooling) и сравнение с традиционными методами подвыборки. Также в работе представлен метод линейной аппроксимации с обучаемыми параметрами для уменьшения размерности сверточного слоя. Основное преимущество подхода – устойчивость к изменениям масштаба и угла съёмки за счёт комбинации спектральных и пространственных признаков. Результаты демонстрируют применимость метода для навигации БПЛА в условиях потери или ненадежности GPS-сигнала. В результате эксперимента было получено, что использование восстановленных после спектрального преобразования изображений позволяет достичь наилучших результатов сходимости нейронной сети и среднеквадратической ошибки. Разработанная архитектура демонстрирует устойчивость к геометрическим и яркостным искажениям, а ее метрики качества (Precision = 0.728, Recall = 0.800, F1 = 0.872) подтверждает эффективность подхода для задач визуальной локализации на основе изображений из базы данных подстилающей поверхности.
Библиографические ссылки
1. Gaihua Wang, Guoliang Yuan, Meng Lv, WenZhou Liu. Application of Interpolation Pooling in Convo-lutional Neural Networks, Helix, 2018, Vol. 8 (4), pp. 3465- 3469. DOI 10.29042/2018-3465-3469
2. Zhuo Chen, Jiyuan Zhang, Ruizhou Ding. ViP. Virtual Pooling for Accelerating CNN-based Image Classification and Object Detection, WACV, 2020, pp. 1180-1189. Available at: https://openaccess.thecvf.com/content_WACV_2020/papers/Chen_ViP_Virtual_Pooling_for_Accelerating_CNN-based_Image_Classification_and_Object_WACV_2020_paper.pdf.
3. Travis Williams, Robert Li. Wavelet Pooling for Convolutional Neural Networks, Published as a con-ference paper at ICLR, 2018, pp. 1-12. Available at: https://openreview.net/forum?id=rkhlb8lCZ.
4. Juan Manuel Fortuna-Cervantes, Marco Tulio Ramírez-Torres, Marcela Mejía-Carlos, José Salomé Murguía, José Martinez-Carranza, Carlos Soubervielle-Montalvo, César Arturo Guerra-García. Tex-ture and Materials Image Classification Based on Wavelet Pooling Layer in CNN, the Special Issue Re-cent Advances in Deep Learning for Image Analysis. Available at: https://doi.org/10.3390/app12073592.
5. Image-Net. Available at: https://www.image-net.org/.
6. Pengju Liu, Hongzhi Zhang, Wei Lian, Wangmeng Zuo. Multi-Level Wavelet Convolutional Neural Networks, Digital Object Identifier. 10.1109/ACCESS.2019.2921451. https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8732332.
7. Vershkov N.A., Babenko M.G., Chernykh A.N., Kuchukov V.A., Kucherov N.N., Kuchukova N.N Opti-mizatsiya iskusstvennykh neyronnykh setey s pomoshch'yu veyvlet-preobrazovaniy [Optimization of ar-tificial neural networks using wavelet transforms], Programmirovanie [Programming], 2022,
No. 6, pp. 22-30. DOI: 10.31857/S0132347422060073.
8. Spitsyn V.G., Bolotova Yu.A., Phan N.H., Bui T.T.T. Using a Haar wavelet transform, principal compo-nent analysis and neural networks for OCR in the presence of impulse noise. Available at: https://computeroptics.ru/eng/KO/Annot/KO40-2/400216.html.
9. Mitina O.A., Bazanova D.V. Razrabotka modeli neyronnoy seti na osnove ryada Fur'e [Development of a neural network model based on the Fourier series], NAU [National Association of Scientists], 2023, No. 90-2. Available at: https://cyberleninka.ru/article/n/razrabotka-modeli-neyronnoy-seti-na-osnove-ryada-furie (accessed 12 August 2025).
10. Fortuna-Servantes Kh.M., Ramires-Torres M.T., Martines-Karransa Kh., Murguia-Ibarra Kh.S., Mekhia-Karlos M. Obnaruzhenie ob"ektov v aeronavigatsii s ispol'zovaniem veyvlet-preobrazovaniya i svertochnykh neyronnykh setey: pervyy podkhod [Object Detection in Air Navigation Using Wavelet Transform and Convolutional Neural Networks: A First Approach], Tr. ISP RAN [Proceedings of ISP RAS], 2021, Vol. 33, Issue 2. DOI: 10.15514/ISPRAS–2020–33(2)–9.
11. Belyaev P.Yu., Zikratov I.A. Issledovanie avtonomnoy navigatsii bespilotnykh letatel'nykh apparatov na osnove korrelyatsionnykh metodov sravneniya izobrazheniy [Study of Autonomous Navigation of Un-manned Aerial Vehicles Based on Correlation Methods of Image Comparison], Tr. uchebnykh zavedeniy svyazi [Proceedings of Communications Educational Institutions], 2024, Vol. 10, No. 5, pp. 109-118.
12. Davydova A.A., Chechikov Yu.B. Problema realizatsii sovremennoy GPS-navigatsii dlya BPLA [The problem of implementing modern GPS navigation for UAVs], Perspektivnye nauchnye issledovaniya: opyt, problemy i perspektivy razvitiya: Sb. nauchnykh statey po materialam X Mezhdunarodnoy nauch-no-prakticheskoy konferentsii [Advanced scientific research: experience, problems and development pro-spects: Collection of scientific articles based on the materials of the X International scientific and practical conference]. Ufa, 2023, pp. 100-106.
13. Korikov A.M., Tran V.T. Primenenie neyronnykh setey i korrelyatsionno-ekstremal'nogo koordinatora dlya navigatsii i upravleniya BPLA [Application of neural networks and correlation-extreme coordinator for navigation and control of UAVs], Prirodnye i intellektual'nye resursy Sibiri (SIBRESURS-28-2022): Doklady (materialy konferentsii) 28-y mezhdunarodnoy nauchno-prakticheskoy konferentsii [Natural and intellectual resources of Siberia (SIBRESURS-28-2022): Reports (conference materials) of the 28th international scientific and practical conference]. Tomsk, 2022, pp. 29-33.
14. Lesiv E.A., Vytovtov K.A., Barabanova E.A. Neyrosetevoy algoritm analiza videoinformatsii dlya rezervnoy sistemy lokal'noy navigatsii privyaznykh BPLA s obucheniem na sinteticheskikh dannykh [Neural network algorithm for analyzing video information for a backup local navigation system for teth-ered UAVs with training on synthetic data ], Informatsionnye tekhnologii i tekhnicheskie sredstva uprav-leniya (ICCT- 2023). Mater. VII Mezhdunarodnoy nauchnoy konferentsii [nformation technology and technical means of control (ICCT-2023). Proceedings of the VII International Scientific Conference]. Moscow, 2023, pp. 159-162.
15. Ustinova V.E., Lutsenko A.S., Shpak A.V., Mironenkov G.V., Ivlev V.A. A method for finding the corre-spondence between a railway station model and its visual representation based on graphs, Computing, Telecommunications and Control, 2024, Vol. 17, No. 4, pp. 64-77.
16. Ustinova V.E., Lutsenko A.S., Shpak A.V., Mironenkov G.V., Ivlev V.A. A method for finding the corre-spondence between a railway station model and its visual representation based on graphs, Computing, Telecommunications and Control, 2024, Vol. 17, No. 4, pp. 64-77.
17. Kocheturov V.V., Fedyaev O.I. Siamskie svertochnye neyronnye seti dlya raspoznavaniya lits [Siamese convolutional neural networks for face recognition], Programmnaya inzheneriya: metody i tekhnologii razrabotki informatsionno-vychislitel'nykh sistem (PIIVS-2024): Sb. materialov i dokladov V Mezhdu-narodnoy nauchno-prakticheskoy konferentsii [Software Engineering: Methods and Technologies for Developing Information and Computing Systems (PIIVS-2024): Collection of materials and reports of the V International scientific and practical conference]. Donetsk, 2024, pp. 178-184.
18. Ladanova E.O. Razrabotka metodiki i novoy struktury siamskoy neyronnoy seti dlya analiza geopros-transtvennykh dannykh [Development of a methodology and a new structure of a Siamese neural net-work for analyzing geospatial data], Nauchno-tekhnicheskiy vestnik Povolzh'ya [Scientific and Technical Bulletin of the Volga Region], 2024, No. 12, pp. 144-147.
19. Sumina E.A. Siamese networks as a possible improvement of standard algorithms, Artificial Intelligence: Challenges, Essence, Communication, Creativity and other aspects: Collection of materials from stu-dent conferences. Мoscow, 2024, pp. 104-108.
20. Kurtyanik D. V., Sergeev A.M., Samikov A.V., Semenov A.A. O vizual'noy otsenke rezul'tatov poiska matrits Adamara [On the visual assessment of the results of the search for Hadamard matrices], Nauka. Tekhnika. Tekhnologii (politekhnicheskiy vestnik) [Science. Engineering. Technologies (Polytechnic Bul-letin)], 2018, No. 4, pp. 19-26.
21. Kumkov S.I., TSvetkov A.V. Osnovy teorii signalov: ucheb. posobie [Fundamentals of signal theory: a tutorial]. Ekaterinburg: Izd-vo Ural. un-ta, 2023, 114 p. ISBN 978-5-7996-3636-4.
22. Kostrov B.V., Grinchenko N.N., Baranova S.N., Trushina E.A., V'yugina A.A. Ortogonal'noe kodiro-vanie binarnykh izobrazheniy [Orthogonal coding of binary images], Vestnik Yaroslavskogo vysshego voennogo uchilishcha protivovozdushnoy oborony [Bulletin of the Yaroslavl Higher Military School of Air Defense], 2023, No. 2 (21), pp. 82-87.
