ОЦЕНКА КАЧЕСТВА СЛИЯНИЯ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ЭНТРОПИИ ШЕННОНА И КОЭФФИЦИЕНТА ПОЛЕЗНОЙ ИНФОРМАЦИИ ХАРТЛИ
Аннотация
Исследуются методы повышения качества изображений, получаемых из гетерогенных ис-
точников информации на основе многомодальной интеграции. Дополнительная информация из
нескольких модальностей позволяет использовать признаки, которые невозможно правильно ин-
терпретировать, если анализировать информацию отдельно от одного источника. В качестве
подтверждения актуальности темы рассматриваются современные исследования в данной об-
ласти. Целью работы является повышение информативности изображений, получаемых в ре-
зультате слияния данных от разнородных источников, и получение высококачественных изобра-
жений, пригодных для корректной работы алгоритмов машинного обучения. Для достижения
поставленной цели авторами решается ряд задач: создание подхода к измерению качества изо-
бражений, в рамках которого необходимо разработать ряд алгоритмов, описывающих процесс
оценки качества результатов слияния на основе многомодальной информации; реализация полу-
ченных алгоритмов в программной среде для валидации предлагаемого подхода; проведены оценоч-
ных экспериментов на основе представленных алгоритмов, в частности, вычисления мер инфор-
мативности изображений и влияния шумов и размытости на энтропию объединённого изображе-
ния. Результаты экспериментальных исследований на наборах данных из открытых источников
показали, что предложенный метод позволяет определить наилучший вариант слияния изобра-
жений, при котором данные будут иметь максимальную информативность. Использование эн-
тропии по Шеннону дает возможность вычислить количество информации, передаваемой в изо-
бражениях, а коэффициент полезной информации Хартли позволяет оценить количество присут-
ствующих шумов в изображении. Также, в статье проводится сравнение результатов при раз-
личных уровнях шума и степени размытости изображений, демонстрирующее различные резуль-
таты алгоритмов при оценке качества изображений. Предложенный подход проиллюстрирован
на примере анализа изображений, полученных путём слияния данных от двух типов приборов –
инфракрасной камеры и видеокамеры, снимающей изображения в видимом диапазоне.
Литература
Eng. Comput., 2020, Vol. 58, No. 4, pp. 669-687.
2. Meyer-Baese A., Schmid V. The Wavelet Transform in Medical Imaging, Pattern Recognition and
Signal Analysis in Medical Imaging, 2014, pp. 113-134.
3. Bijelic M. Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse
Weather, The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),
2019, 11 p.
4. Xu H., Ma J., Le Z., Jiang J., & Guo X. FusionDN: A Unified Densely Connected Network for Image
Fusion, Proceedings of the AAAI Conference on Artificial Intelligence, 2020, Vol. 34, No. 07,
pp. 12484-12491.
5. Chernov A.V., Savvas I.K., Alexandrov A.A., Kartashov O.O., Polyanichenko D.S., Butakova M.A.,
Soldatov A.V. Integrated Video and Acoustic Emission Data Fusion for Intelligent Decision Making in
Material Surface Inspection System, Sensors, 2022, Vol. 22, No. 21, 8554 p.
6. Li H. A Multi-Sensor Fusion Framework Based on Coupled Residual Convolutional Neural Networks,
Remote Sens., 2020, Vol. 12, No. 12, 2067 p.
7. Rogova L., Bosse E. Information quality in information fusion, in 2010 13th International Conference
on Information Fusion, Edinburgh: IEEE, 2010, pp. 1-8.
8. Castanedo F. A Review of Data Fusion Techniques, Sci. World J., 2013, pp. 1-19.
9. Kenda K., Kažič B., Novak E., Mladenić D Streaming Data Fusion for the Internet of Things, Sensors,
2019, Vol. 19, No. 8, 1955 p.
10. Proppe C., Kaupp J. On information fusion for reliability estimation with multifidelity models, Probabilistic
Engineering Mechanics, 2022, Vol. 69, 103291 p.
11. Umme S., Morium A., Mohammad S.U., Image Quality Assessment through FSIM, SSIM, MSE and
PSNR—A Comparative Study, Journal of Computer and Communications, 2019, Vol. 07, pp. 8-18.
12. Kavitha S., Thyagharajan K.K. A Survey on Quantitative Metrics for Assessing the Quality of Fused
Medical Images, Res. J. Appl. Sci. Eng. Technol., 2016, Vol. 12, No. 3, pp. 282-293.
13. Hao Q., Zhao Q., Sbert M., Feng Q., Ancuti C., Feixas M., Vila M. Information-Theoretic Channel for
Multi-exposure Image Fusion, The Computer Journal, 2023, Vol. 66, pp. 114-127.
14. Li B., Li R., Liu Z., Li C., Wang Z. An Objective Non-Reference Metric Based on Arimoto Entropy for
Assessing the Quality of Fused Images, Entropy, 2019, Vol. 21, No. 9, 879 p.
15. Vila M., Bardera A., Feixas M., Bekaert P., Sbert M. Analysis of image informativeness measures,
2014 IEEE International Conference on Image Processing (ICIP), 2014, pp. 1086-1090.
16. Kovalenko P.P. Metodika informatsionnoy otsenki vospriyatiya izobrazheniy [Methodology of information
assessment of image perception], Nauchno-tekhnicheskiy vestnik informatsionnykh
tekhnologiy, mekhaniki i optiki [Scientific and technical bulletin of information technologies, mechanics
and optics], 2008, No. 48, pp. 45-49.
17. Obukhov A.D., Nikolyukin M.S. Metod povysheniya informatsionnoy tsennosti videodannykh na
osnove fil'tratsii kadrov i otsenki entropii [Method of increasing the information value of video data
based on frame filtering and entropy assessment], Nauchno-tekhnicheskiy vestnik informatsionnykh
tekhnologiy, mekhaniki i optiki [Scientific and technical bulletin of information technologies, mechanics
and optics],. – 2023. – 23 (3). – S. 493-499.
18. Kuznetsov L.A., Bugakov D.A. Razrabotka mery otsenki informatsionnogo rasstoyaniya mezhdu
graficheskimi ob"ektami [Development of a measure for assessing the information distance between
graphic objects], Informatsionno-upravlyayushchie sistemy [Information control systems], 2013, No. 1
(62), pp. 74-79.
19. Gao P., Li Z., Zhang H. Thermodynamics-Based Evaluation of Various Improved Shannon Entropies
for Configurational Information of Gray-Level Images, Entropy, 2018, Vol. 20, No. 1, 19 p.
20. Ayunts H., Grigoryan A., Agaian S. Novel Entropy for Enhanced Thermal Imaging and Uncertainty
Quantification, Entropy, 2024, Vol. 26, No. 5, 374 p.
21. Cui Y. No-Reference Image Quality Assessment Based on Dual-Domain Feature Fusion, Entropy,
2020, Vol. 22, No. 3, 344 p.
