АЛГОРИТМ ПРОТИВОДЕЙСТВИЯ ПРЕДНАМЕРЕННЫМ ПОМЕХАМ НА ОСНОВЕ ТЕОРИИ ИГР И ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ
Аннотация
Преднамеренные помехи представляют собой одну из наиболее серьёзных угроз информационной безопасности беспроводных систем связи, поскольку они могут приводить к нарушению доступности канала передачи данных и реализации атак отказа в обслуживании на физическом уровне. Особенно уязвимыми являются когнитивные радиосети, сенсорные сети и системы Интернета вещей, в которых злоумышленник способен динамически изменять стратегию постановки помех. Целью данной работы является разработка адаптивного алгоритма противодействия преднамеренным помехам, обеспечивающего устойчивость беспроводной системы связи в условиях неопределённости состояния канала и динамического поведения злоумышленника. Для достижения поставленной цели взаимодействие между легитимным узлом и постановщиком помех формализуется в виде марковской игровой модели Штаклберга, в которой передатчик выступает лидером, а злоумышленник – последователем. Обучение с подкреплением используется для адаптивного выбора стратегии легитимного узла в стохастической среде, тогда как робастная оптимизация SOCP (Second-order cone programming) обеспечивает выполнение требований к качеству обслуживания с учётом неопределённости оценки состояния канала. В качестве алгоритма обучения применяется метод SAC (Soft Actor-Critic), позволяющий эффективно работать в непрерывном пространстве действий. В ходе исследования решаются задачи формализации модели противодействия помехам, интеграции обучения с подкреплением с робастной оптимизацией и оценки эффективности предложенного подхода с использованием численного моделирования. Результаты моделирования показывают, что предложенный алгоритм RL-Stackelberg + SOCP обеспечивает снижение вероятности отказа соединения по сравнению с существующими методами противодействия помехам, включая ППРЧ (Псевдослучайная перестройка рабочей частоты) и игровые алгоритмы выбора частоты. Было проведено имитационное моделирование методом Монте-Карло предложенного алгоритма, а также нескольких алгоритмов на основе ППРЧ. Предложенный алгоритм противодействия преднамеренным помехам позволяет снизить вероятность обрыва связи на 0,14. Полученные результаты подтверждают повышение устойчивости беспроводных систем связи к атакам преднамеренных помех
Список литературы
1. Xiao Y., Ren H., Wu S., Liu L., Meng X., Ding P. Anti-Jamming Method of Cognitive Radio Based on Q-Learning, Proceedings of the 12th International Conference on Electronics, Communications and Networks (CECNet 2022). Frontiers in Artificial Intelligence and Applications, 2022, Vol. 363,
pp. 97-104. DOI: 10.3233/FAIA220523 (accessed 09 March 2026).
2. Zumegen F.J., Jain I.K., Bharadia D. BeamArmor: Seamless Anti-Jamming in 5G Cellular Networks with MIMO Null-Steering, Proceedings of the 25th International Workshop on Mobile Computing Sys-tems and Applications (HotMobile ’24). New York: Association for Computing Machinery, 2024, pp. 121-126. DOI: 10.1145/3638550.3641138 (accessed 09 March 2026).
3. Andrei V.C., Djuhera A., Li X., Mönich U.J., Boche H., Saad W. Resilient-by-Design Framework for MIMO-OFDM Communications under Smart Jamming. – 2024. – URL: https://rosap.ntl.bts.gov/ view/dot/80055 (accessed 09 March 2026).
4. Jia L., Qi N., Chu F., Fang S., Wang X., Ma S., Feng S. Game-Theoretic Learning Anti-Jamming Ap-proaches in Wireless Networks, IEEE Communications Magazine, 2022, Vol. 60, pp. 60-66. DOI: 10.1109/MCOM.001.00496.
5. Han C., Huo L., Tong X., Wang H., Liu X. Spatial Anti-Jamming Scheme for Internet of Satellites Based on the Deep Reinforcement Learning and Stackelberg Game, IEEE Transactions on Vehicular Technol-ogy, 2020, Vol. 69, pp. 5331-5342. DOI: 10.1109/TVT.2020.2982672.
6. Aref M., Jayaweera S., Yepez E. A Survey on Cognitive Anti-Jamming Communications, IET Commu-nications, 2020, Vol. 14, No. 18, pp. 3111-3127. DOI: 10.1049/iet-com.2020.0024.
7. Imran M., Pan Z., Liu N., Sajjad M., Butt F. Anti-Jamming for Cognitive Radio Networks with Stackel-berg Game-Assisted DSSS Approach, EURASIP Journal on Wireless Communications and Network-ing, 2024, Vol. 2024, pp. 1-18. DOI: 10.1186/s13638-024-02397-x.
8. Liu L., Pu W., Li Y., Luo Z.-Q. Learning an Opponent-Aware Anti-Jamming Strategy via Online Con-vex Optimization, arXiv, 2026. arXiv:2604.11016. DOI: 10.48550/arXiv.2604.11016.
9. Liu L., Pu W., Li Y., Jiu B., Luo Z.-Q. Radar Anti-Jamming Strategy Learning via Domain-Knowledge Enhanced Online Convex Optimization, arXiv, 2024. arXiv:2402.16274. DOI: 10.48550/arXiv.2402.16274.
10. Chen S., Tu W.-W., Zhao P., Zhang L. Optimistic Online Mirror Descent for Bridging Stochastic and Adversarial Online Convex Optimization, Proceedings of the 40th International Conference on Machine Learning (ICML). Proceedings of Machine Learning Research, 2023, Vol. 202, pp. 5002-5035. Avail-able at: https://proceedings.mlr.press/v202/chen23aa.html (accessed 22 June 2026).
11. Yao F., Jia L. A Collaborative Multi-Agent Reinforcement Learning Anti-Jamming Algorithm in Wire-less Networks, arXiv, 2018. arXiv:1809.04374. DOI: 10.48550/arXiv.1809.04374.
12. Joulani P., Gyorgy A., Szepesvari C. Delay-Tolerant Online Convex Optimization: Unified Analysis and Adaptive-Gradient Algorithms, Proceedings of the AAAI Conference on Artificial Intelligence, 2016, Vol. 30, pp. 1744-1750. DOI: 10.1609/aaai.v30i1.10320.
13. Chen Y., Zhao Z. Intelligent Anti-Jamming Decision Algorithm of Bivariate Frequency Hopping Pattern Based on ET-PPO, Telecommunications Science, 2022, Vol. 38, pp. 1-13. DOI: 10.11959/j.issn.1000-0801.2022264.
14. Feng X., Niu Y., Liu Q., Zhou Q. Decision Making for Communication Anti-Jamming Tasks with Knowledge-Graph-Based Q-Learning, Electronics, 2024, Vol. 13, Art. 4757. DOI: 10.3390/ electron-ics13234757.
15. Chang X., Li Y., Zhao Y., Du Y., Liu D. An Improved Anti-Jamming Method Based on Deep Rein-forcement Learning and Feature Engineering, IEEE Access, 2022, Vol. 10, pp. 69992-70000. DOI: 10.1109/ACCESS.2022.3187030.
16. Xu J., Lou H., Zhang W., Sang G. An Intelligent Anti-Jamming Scheme for Cognitive Radio Based on Deep Reinforcement Learning, IEEE Access, 2020, Vol. 8, pp. 202563-202572. DOI: 10.1109/ ACCESS.2020.3036027.
17. Ali A., Naser S., Muhaidat S. Defeating Proactive Jammers Using Deep Reinforcement Learning for Resource-Constrained IoT Networks, arXiv, 2023. arXiv:2307.06796. DOI: 10.48550/arXiv.2307.06796.
18. Li X., Chen J., Ling X., Wu T. Deep Reinforcement Learning-Based Anti-Jamming Algorithm Using Dual Action Network, IEEE Transactions on Wireless Communications, 2023, Vol. 22, pp. 5403-5418. DOI: 10.1109/TWC.2022.3227575.
19. Tang X., Jiang Y., Liu J., Du Q., Niyato D., Han Z. Deep Learning-Assisted Jamming Mitigation with Movable Antenna Array, arXiv, 2024. arXiv:2410.20344. DOI: 10.48550/arXiv.2410.20344.
20. Goldsmith A. Wireless Communications. Cambridge: Cambridge University Press, 2005, 584 p.
21. Cheng L., Xu Z., Zhou J., Tian D., Duan X., Qu K., Zhao D. Adaptive Spectrum Anti-Jamming in UAV-Enabled Air-to-Ground Networks: A Bimatrix Stackelberg Game Approach, Electronics, 2023, Vol. 12, Art. 4344. DOI: 10.3390/electronics12204344.
22. Noori H., Vilni S. Jamming and Anti-Jamming in Interference Channels: A Stochastic Game Approach, IET Communications, 2020, Vol. 14, pp. 682-692. DOI: 10.1049/iet-com.2019.0637.
