МЕТОД УПРАВЛЕНИЯ МОБИЛЬНЫМ РОБОТОМ С ИСПОЛЬЗОВАНИЕМ СЕМАНТИКИ ЕСТЕСТВЕННОГО ЯЗЫКА
Аннотация
Реализовать управление роботами можно большим количеством различных интерфейсов – от традиционных пультов до технологий дополненной реальности. Однако у всех подобных интерфейсов существует ряд ограничений, особенно остро возникающих в сервисной робототехнике. Они связаны с длительным обучением человека-оператора, не интуитивным для человека управлением и необходимостью полного вовлечения человека. С другой стороны, сегодня появилась новое направление, связанное с большими языковыми моделями, которые способны обрабатывать естественный язык с последующим его переводом в команды управления роботом. Существует ряд работ, демонстрирующих возможность использования языковых моделей в задачах планирования действий робота. На основе анализа существующих работ предложен новый метод управления мобильным роботом, объединяющий преимущества других методов. Метод позволяет планировать сценарии для робота, получая на вход миссию от человека на естественном языке, ТОП робота и информацию с его датчиков. В статье также описана последовательность настройки системы с использованием большой языковой модели для решения данной задачи – представлено три варианта инструкции для нейронной сети, поэтапно улучшающих достижимость формируемых сценариев. После этого описаны различные миссии, которые задаются в рамках экспериментальных исследований настоящей работы – всего проверялось 100 миссий, разделенных на 4 уровня сложности в равном соотношении. Сложность миссий варьировалась от описания объектов в поле зрения робота до взаимодействия со сложно заданными миссиями, включающими синонимы объектов и неявно заданные цели. В завершении работы представлены результаты оценки алгоритма и трех вариантов инструкции. Выводом можно считать, что использование языковых моделей для задания сценариев роботам возможно, в том числе с достаточно высокой достижимостью. Модель с наиболее продвинутой инструкцией достигла 91 % правильно сформированных сценариев, что позволяет говорить о применимости разработанного метода для управления мобильным роботом на естественном язык
Список литературы
1. Sergeev A.V., Guk M.Yu. Upravlenie mobil'nym robotom kosmicheskogo naznacheniya s primeneniem virtual'noy real'nosti i silomomentnogo ochuvstvleniya [Control of a mobile space robot using virtual re-ality and force-moment sensing], Pilotiruemye polety v kosmos [Manned Space Flights], 2018,
No. 4, pp. 44.
2. Zhao W.X. et al. A survey of large language models, arXiv preprint arXiv:2303.18223, 2023, Vol. 1, No. 2.
3. Vaswani A. et al. Attention is all you need, Advances in neural information processing systems, 2017, Vol. 30.
4. Wang L. et al. A survey on large language model based autonomous agents, Frontiers of Computer Science, 2024, Vol. 18, No. 6, pp. 186345.
5. Chen Qian, Wei Liu, et al. Chatdev: Communicative agents for software development, In Proc. of ACL, 2024.
6. Nian Li, Chen Gao, Mingyu Li, Yong Li, and Qingmin Liao. Econagent: large language model-empowered agents for simulating macroeconomic activities, In Proc. of ACL, 2024.
7. Smirnova E.Yu., Spasskiy B.A. Organizatsiya supervizornogo upravleniya v stsenariyakh ekstremal'noy robototekhniki [Organization of supervisory control in scenarios of extreme robotics], Robototekhnika i tekhnicheskaya kibernetika [Robotics and Technical Cybernetics], 2020, Vol. 8, No. 4, pp. 245-258.
8. Ma Y. et al. A survey on vision-language-action models for embodied ai, arXiv preprint arXiv:2405.14093, 2024.
9. Yao S. et al. React: Synergizing reasoning and acting in language models, The eleventh international conference on learning representations, 2022.
10. Ahn M. et al. Do as i can, not as i say: Grounding language in robotic affordances, arXiv preprint arXiv:2204.01691, 2022.
11. Anwar A. et al. Remembr: Building and reasoning over long-horizon spatio-temporal memory for robot navigation, 2025 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2025, pp. 2838-2845.
12. Huang S. et al. Instruct2act: Mapping multi-modality instructions to robotic actions with large language model, arXiv preprint arXiv:2305.11176. – 2023.
13. Hazra R., Dos Martires P. Z., De Raedt L. Saycanpay: Heuristic planning with large language models using learnable domain knowledge, Proceedings of the AAAI Conference on Artificial Intelligence, 2024, Vol. 38, No. 18, pp. 20123-20133.
14. Song C.H. et al. Llm-planner: Few-shot grounded planning for embodied agents with large language models, Proceedings of the IEEE/CVF international conference on computer vision, 2023, pp. 2998-3009.
15. Devlin J. et al. Bert: Pre-training of deep bidirectional transformers for language understanding, Pro-ceedings of the 2019 conference of the North American chapter of the association for computational lin-guistics: human language technologies. Vol. 1 (long and short papers), 2019, pp. 4171-4186.
16. Driess D, et al. Palm-e: An embodied multimodal language model, 2023.
17. Chowdhery A, et al. Palm: Scaling language modeling with pathways, Journal of Machine Learning Research, 2023, Vol. 24, No. 240, pp. 1-113.
18. Lapkin YA.D., Matveev V.D. Sravnitel'nyy analiz bol'shikh yazykovykh modeley dlya avtonomnykh robototekhnicheskikh sistem [Comparative analysis of large language models for autonomous robotic systems], Ekstremal'naya robototekhnika [Experimental Robotics], 2025, No. 1 (36), pp. 110-115. EDN FXTPGG.
19. Gemma Team: Aishwarya Kamath, et al. Google DeepMind. Gemma 3 Technical Report, arXiv:2503.19786, 2025.
20. Tianyi Zhang, et al. BERTScore: Evaluating Text Generation with BERT, arXiv:1904.09675, 2019.
21. Rviz User’s Guide, RViz 1.9.0 documentation. Available at: https://docs.ros.org/en/jade/api/rviz/ html/user_guide/ (accessed 10 February 2026).
