Найти

Результаты поиска

• МУЛЬТИАГЕНТНАЯ СИСТЕМА С ИСПОЛЬЗОВАНИЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЙ С КАМЕР ТЕХНИЧЕСКОГО ЗРЕНИЯ ДРОНА

  А. Л. Веревкин , И.Э. Джозефс , В.В. Мисюра , Л. С. Веревкина

  198-212

  2025-07-24

  Аннотация ▼

  Мультиагентная  технология с дронами, современными сенсорами, точным GPS и искусственном интеллекте, привели к прорыву в области киберфизических систем. В этой статье представлена мультиагентная система с использованием искусственного интеллекта для обработки изображений с камер технического зрения установленных на дроне. Разработана структурная схема мультиагентной системы на дроне на базе эффективной и простой платформе взятой с октокоптера ARRISE 410 – сельскохозяйственного дрона опрыскивателя с: интеллектуальной системой управления; всенаправленным цифровым микроволновым радаром; 6-ти осевым акселерометром высокой точности; электронным ватерпасом измерения наклона; оптической камерой  реального времени с видом от первого лица; панелью управления, оснащенной новейшей системой передачи сигналов Light Bridge 2; пультом дистанционного управления, защищенного от попадания пыли и воды. Комплект необходимо дополнить: гиперспектральной HS – камерой  для сканирования, ее модулем питания и возможностью сопряжения с системами дрона ARRISE 410, модулем сжатия информауции. Макет для исследования пропускной способности на DJI Agras T20 гексакоптере DJI Agras T20, сетевая карта MikrotikRB411 5G, микрокомпьютер Raspberry
  Pi 3, RGB-камера 1 Mpix , встроенный бортовой компьютер  Raspberry Pi OV5647 v1.3 и гиперспектральная HS – камера 2 Resonon Pika  L снимает гиперспектральные данные с 281 спектральными полосами со спектральными длинами волн от 400 до 1000нм и пространственным разрешением 900 гиперспектральных пикселей на строку изображения. В статье решена задача экспериментальным и расчетным путем  определить требуемое сжатие информации получаемой с камер гиперспектрального и оптического диапазона с передачей через оператор связи и интернет для обработки изображений искусственным интернетом

• ИСПОЛЬЗОВАНИЕ СИСТЕМЫ КАМЕР КРУГОВОГО ОБЗОРА ДЛЯ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ ДВИЖЕНИЯ МОБИЛЬНОГО РОБОТА

  И.С. Фомин , А. А. Базельцев

  2026-04-29

  Аннотация ▼

  Рассматривается проблема обеспечения безопасности движения мобильной робототехнической платформы в окружении с известными классами объектов на основе результатов обнаружения объектов по системе камер кругового обзора. Хорошо известны решения по обеспечению безопасности по камерам с использованием оптических потоков или иных способов выделения подвижных объектов в поле зрения. Здесь предлагается использовать для обеспечения безопасности положение и форму объектов, рассчитанные по результатам работы нейросетевого детектора. Система кругового обзора (СКО) состоит из 4 камер с широким углом зрения. Рассмотрены несколько подходов к подаче объектов в нейросетевой детектор. Показаны различия по качеству и быстродействию для этих подходов, сформированы методические рекомендации по использованию. Для расчета положений объектов в системе координат камер и через положения камер - в СК робота – предложены 2 решения на основе калибровки камер и некоторых допущений. В первом случае положение робота на поверхности принимается за горизонтальное, а высота камеры над поверхностью – постоянной и известной, а во втором – предварительно известным принимается один метрический размер объекта для каждого класса. Предложенное решение развернуто и протестировано на вычислителе на базе Rockchip 3588 и показывает высокие результаты по количеству обнаружений (от 8 до 19 объектов в среднем на кадр в зависимости от настроек), и быстродействию (0,29 с для 8 объектов на кадр и около 1,05 с для результата в 19 объектов на кадр). С точки зрения точности определения дистанции до объектов, то для первого способа стандартное отклонение составило от 4,2 до 7,9 мм, для второго - от 3,8 до 7,6 мм. Устойчивость оценки размеров объектов для первого способа от 0,64 до 2,02 мм, для второго от 1,63 до 2,22 мм соответственно. Полученные результаты позволяют уверенно утверждать, что предложенный алгоритм обнаружения объектов применим для обеспечения безопасности и навигации мобильного робота с использованием камер системы кругового обзора

• ОЦЕНКА ПРОСТРАНСТВЕННОГО ПОЛОЖЕНИЯ БОРТОВОЙ КАМЕРЫ ПУТЕМ СОПОСТАВЛЕНИЯ АЭРОФОТОСНИМКОВ И ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ

  А.Ю. Будко , Т.А. Гайда , З.А. Понимаш

  2026-02-27

  Аннотация ▼

  Описан метод оценки пространственного положения бортовой камеры летательного аппарата, заключающийся в сопоставлении аэрофотоснимков и геопривязанных данных дистанционного зондирования Земли (ДДЗ) путем обнаружения нейросетевым детектором устойчивых в пространстве и времени реперных точек в обоих наборах данных и дальнейшим решением известной задачи Perspective-n-Point (PnP) для оценки матриц поворота и перемещения, минимизирующих ошибку перепроецирования, исходя из соответствий точек 3D мирового пространства и 2D точек их проекций на матрицу бортовой камеры, что может быть использовано для решения актуальной задачи локализации летательных аппаратов в условиях отсутствия сигналов глобальной навигационной спутниковой системы. В качестве устойчивых реперных точек, хорошо выделяемых на данных ДДЗ и аэрофотоснимках, в работе выбраны перекрестки дорог, альтернативным выбором могут являться другие локальные семантические паттерны изображений, характерные для конкретной местности. Поскольку прямое сопоставление снимков ДДЗ и бортовых снимков затруднено вследствие существенной разницы условий съемки, предлагается применение устойчивых детекторов реперных точек на основе алгоритмов искусственных нейронных сетей (ИНС). Для обучения устойчивого детектора создан смешанный датасет на основе спутниковых снимков и данных бортовой съемки. При разметке данных смешанного датасета использована функция нормализованного к единице 3D гауссиана с вершиной в центре перекрестка, график которой проецируется на 2D маску обучающего набора. Параметры функции гауссиана рассчитываются на основе радиуса окружности, описывающей перекресток. Использование функции нормализованных гауссиан с вершиной в геометрическом центре проекции перекрестка позволяет обучить сеть предсказывать вероятность принадлежности каждого пикселя изображения к перекрестку, с максимумом в центре перекрестка, что увеличивает точность позиционирования за счет более точной геопривязки реперной точки мирового 3D набора. В качестве детектора перекрестков в работе обучена ИНС архитектуры типа U-Net, в качестве метрики качества обучения использован дифференцируемый аналог метрики Dice, в качестве оптимизатора использован AdamW в связке с косинусным планировщиком скорости обучения CosineAnnealingLR. В заключительной части работы приведены результаты сопоставления спутниковых данных и бортового снимка предложенным методом

• ОЦЕНКА СИСТЕМ КООРДИНАТНЫХ МЕТОК С ИСПОЛЬЗОВАНИЕМ БОРТОВОЙ КАМЕРЫ МОБИЛЬНОГО РОБОТА «СЕРВОСИЛА ИНЖЕНЕР» В УСЛОВИЯХ ЗАКРЫТЫХ ПОМЕЩЕНИЙ

  Т.Г. Цой

  289-299

  2025-07-31

  Аннотация ▼

  Современные задачи специальных областей робототехники, включая поисково-
  спасательные операции в городских населенных пунктах, ставят ряд вызовов перед мо-
  бильной робототехникой. Одним из важных требований к алгоритмическому и программ-
  ному обеспечению робота являются возможности автономного принятия решений и ав-
  томатического выполнения роботом различных функции как низкого, так и высокого уров-
  ня на основе заложенных алгоритмов и информации, получаемой с бортовых датчиков
  робота. На сегодняшний день самыми распространенными бортовыми датчиками робота
  являются камеры различных типов, что обусловлено их техническими возможностями и
  более низкой стоимостью относительно лидаров и других датчиков, предоставляющих
  визуальную информацию в виде цифровых изображений. Калибровка камер является необ-
  ходимым процессом для извлечения точной информации из цифровых изображений. Данный
  процесс необходим для получения точного соответствия между трехмерным объектным
  пространством и пиксельным пространством изображения, для возможности последую-
  щего использования алгоритмов компьютерного зрения, комплексирования и обработки
  информации. Калибровка цифровых камер является неотъемлемой частью целого ряда
  практических задач машинного зрения: навигация мобильных робототехнических систем,
  медицина, реконструкция плотных и разреженных трехмерных карт окружения, видеонаблюдение и визуальная инспекция, визуальная одновременная локализация и картографи-
  рование и др. Актуальность проблемы калибровки камер обусловлена наличием множества
  различных методов калибровки и калибровочных шаблонов. В большинстве случаев каждый
  метод калибровки использует определенный калибровочный шаблон. Каждое отдельное
  решение подходит лишь под особые условия – недостаток освещения, плохие погодные
  условия, наличие перекрывающих видимость сторонних объектов. Калибровка камер обыч-
  но ассоциируется с использованием специальных калибровочных шаблонов. Они позволяют
  достичь наиболее точных результатов за счет заранее известной геометрической струк-
  туры. В настоящее время процедура калибровки камер робототехнических систем прово-
  дится в лабораторных условиях с использованием классического метода «шахматной дос-
  ки». Помимо него существует всего лишь несколько альтернативных подходов, которые
  находятся в зачаточном состоянии как в России, так и за рубежом. С другой стороны,
  исследования в области методов калибровки камеры продолжаются и появляются новые
  альтернативные варианты калибровки камер. Одно из новых направлений – это использо-
  вание систем координатных меток в качестве эталонного объекта. Разнообразие пара-
  метров – размер калибровочного шаблона, размерность набора калибровочных данных,
  распределение расстояний от камеры до объектов на сцене и т.д. – создает объемную базу
  для экспериментального тестирования оптимальных параметров калибровки камер.
  В данной статье представлено исследование вопроса автоматической калибровки камеры
  с использованием систем координатных меток (СКМ), которые располагаются на поверх-
  ности робота. По результатам виртуальных экспериментов с СКМ в симуляционной среде
  Gazebo робототехнической операционной системы ROS были выбраны два разных типов
  СКМ, оптимальных относительно прочих типов меток, охваченных нашими предыдущими
  исследованиями, с точки зрения устойчивости СКМ к систематическому перекрытию
  поверхности метки и влияния размера метки на качество ее распознания. Выбранные СКМ
  были протестированы с использованием бортовой камеры российского мобильного робота
  «Сервосила Инженер» в условиях закрытых помещений с целью оценки корреляции резуль-
  татов в виртуальной и реальной средах.

• РАЗРАБОТКА И ИССЛЕДОВАНИЕ СРЕДСТВ ВИДЕО-ДАЛЬНОМЕТРИЧЕСКОЙ НАВИГАЦИИ РОБОТОВ ВОЗДУШНОГО И НАЗЕМНОГО ПРИМЕНЕНИЯ

  В. П. Носков , Ю. С. Баричев , О.П. Гойдин , А. Н. Курьянов

  2025-04-27

  Аннотация ▼

  Работа посвящена решению актуальных задач совместной автономной видеонавигации ро-
  ботов воздушного и наземного применения в наиболее востребованных для проведения специаль-
  ных операций урбанизированных средах, включающих плотную городскую застройку и здания, где
  применение традиционных средств дистанционного управления ограничено наличием экраниро-
  ванных зон. Задачи групповой навигации предлагается решать на основе данных бортовых сис-
  тем технического зрения в процессе оперативной разведки рабочей зоны беспилотным летатель-
  ным аппаратом, результаты которой обеспечивают автономные движение и полет, как отдель-
  ных гетерогенных робототехнических средств, так и в группе. В основу алгоритмов навигации
  положены методы выделения из объемного облака точек, формируемого бортовым лидаром,
  опорной горизонтальной поверхности и горизонтальных сечений внешней среды, позволяющих с
  высокой точностью и быстродействием определять все шесть координат объекта управления.
  Рассмотрены случаи, обусловленные возможными характеристиками внешней среды, когда нави-
  гационная задача решается не полностью, и предложены методы их исключения путем дополне-
  ния дальнометрических данных лидара видеоданными телекамеры. Приведена оценка точности
  решения задач видеонавигации, полученная путем математического моделирования внешней сре-
  ды и формирования видеоданных. Предложены методы снижения ошибки видеонавигации, осно-
  ванные на использовании специально банка опорных изображений с известными координатами их
  формирования, позволяющие обеспечить безопасные автономные полет и движение робототех-
  нических средств в урбанизированной среде. Эффективность используемых методов и предлагае-
  мых алгоритмов видеонавигации подтверждается результатами экспериментальных исследова-
  ний соответствующих программно-аппаратных средств в реальных урбанизированных средах