Найти

Результаты поиска

• ИСПОЛЬЗОВАНИЕ СИСТЕМЫ КАМЕР КРУГОВОГО ОБЗОРА ДЛЯ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ ДВИЖЕНИЯ МОБИЛЬНОГО РОБОТА

  И.С. Фомин , А. А. Базельцев

  2026-04-29

  Аннотация ▼

  Рассматривается проблема обеспечения безопасности движения мобильной робототехнической платформы в окружении с известными классами объектов на основе результатов обнаружения объектов по системе камер кругового обзора. Хорошо известны решения по обеспечению безопасности по камерам с использованием оптических потоков или иных способов выделения подвижных объектов в поле зрения. Здесь предлагается использовать для обеспечения безопасности положение и форму объектов, рассчитанные по результатам работы нейросетевого детектора. Система кругового обзора (СКО) состоит из 4 камер с широким углом зрения. Рассмотрены несколько подходов к подаче объектов в нейросетевой детектор. Показаны различия по качеству и быстродействию для этих подходов, сформированы методические рекомендации по использованию. Для расчета положений объектов в системе координат камер и через положения камер - в СК робота – предложены 2 решения на основе калибровки камер и некоторых допущений. В первом случае положение робота на поверхности принимается за горизонтальное, а высота камеры над поверхностью – постоянной и известной, а во втором – предварительно известным принимается один метрический размер объекта для каждого класса. Предложенное решение развернуто и протестировано на вычислителе на базе Rockchip 3588 и показывает высокие результаты по количеству обнаружений (от 8 до 19 объектов в среднем на кадр в зависимости от настроек), и быстродействию (0,29 с для 8 объектов на кадр и около 1,05 с для результата в 19 объектов на кадр). С точки зрения точности определения дистанции до объектов, то для первого способа стандартное отклонение составило от 4,2 до 7,9 мм, для второго - от 3,8 до 7,6 мм. Устойчивость оценки размеров объектов для первого способа от 0,64 до 2,02 мм, для второго от 1,63 до 2,22 мм соответственно. Полученные результаты позволяют уверенно утверждать, что предложенный алгоритм обнаружения объектов применим для обеспечения безопасности и навигации мобильного робота с использованием камер системы кругового обзора

• СОПОСТАВЛЕНИЕ СПАЙКОВЫХ ПРЕДСТАВЛЕНИЙ ДЛЯ ЛОКАЛИЗАЦИИ И НАВИГАЦИИ В КАРТЕ КЛЮЧЕВЫХ КАДРОВ

  И.С. Фомин , В.Д. Матвеев , А.Е. Архипов

  273-284

  2025-10-01

  Аннотация ▼

  Задача навигации мобильной робототехнической платформы в известном окружении достаточно давно и качественно решается с использованием плоской карты, которая строится с использованием лидара. Тем не менее, регулярно возникают ситуации, когда платформа по тем или иным причинам не оснащена лидаром или иными активными средствами навигации. При этом на платформе обычно установлена камера, предназначенная для визуального контроля обстановки оператором, которая также может быть использована для навигации при перемещении робота в известной среде. Хорошо известны примеры алгоритмов навигации, основанных на использовании последовательности ключевых кадров, например, визуальный SLAM. При этом в качестве ключевых кадров рассматриваются различные варианты видеоизображений (размытые, маскированные и т.д.). В данной работе в качестве базы для навигации рассматривается когнитивная (не-метрическая, непространственная) карта ключевых кадров, представляющих собой спайковое представление наблюдаемых изображений. В работе проанализирована возможность использования разработанных в ЦНИИ РТК нейроморфных информационно-управляющих элементов для выполнения процедуры сопоставления текущего спайкового изображения со спайковыми изображениями ключевой последовательности. Показано, что путем такого сопоставления может быть определен ближайший к текущему ключевой кадр, а также могут быть подобраны параметры сдвига спайковых представлений, что для когнитивной карты является аналогом локализации и навигации. Приведено описание программного средства эмуляции построения карты и перемещения в ней для экспериментальной отработки предложенных алгоритмов. Выполнен сбор данных и экспериментальное исследование качества работы алгоритмов локализации и навигации. Для чего собрано несколько карт ключевых кадров с различным характером перемещения между кадрами. При определении положения кадра в карте получено качество от 70 до 98 %, при определении направления смещения между кадрами точность составила от 94 до 97 %. Полученные результаты оценены как достаточные для решения поставленных перед алгоритмом задач

• РАЗРАБОТКА МОДЕЛИ СЕМАНТИЧЕСКОЙ СЕГМЕНТАЦИИ RTC-SAM ДЛЯ ОПРЕДЕЛЕНИЯ ПРЕПЯТСТВИЙ НА ПУТИ МОБИЛЬНОГО РОБОТА

  В.Д. Матвеев , А. Е. Архипов , И. С. Фомин

  2025-04-27

  Аннотация ▼

  Задача определения препятствий перед мобильным роботом успешно и давно решена с примене-
  нием лазерных и ультразвуковых датчиков. Однако, препятствия, не обнаруживаемые такими видами
  датчиков, могут угрожать безопасности робота. Для их обнаружения в работе предлагается исполь-
  зовать систему технического зрения (СТЗ), информацию с которой обрабатывает нейронная сеть
  семантической сегментации, возвращающая маску препятствия на кадре и его класс. Основой для та-
  кой сети стала сеть универсальной сегментации SAM, требующая доработки для применения к задаче
  семантической сегментации. Особенность данной сети состоит в ее универсальной применимости, то
  есть возможности выделения любых объектов в произвольных условиях съемки. При этом SAM не
  предсказывает семантику объекта. В данной работе предложен дополнительный модуль, позволяю-
  щий реализовать семантическую сегментацию за счет классификации признаков выделяемых объек-
  тов. Обоснована возможность использования такого модуля для решения задачи дополнения выхода
  сети новой информацией. Результат классификации далее поступает в тот же алгоритм фильтра-
  ции, что и маски, чтобы гарантировать соответствие между полученным результатом универсаль-
  ной сети и дополняющего модуля. После интеграции модуля с моделью получена новая модель семанти-
  ческой сегментации, названная в работе RTC-SAM. С ее помощью проведена семантическая сегмента-
  ция общедоступного набора данных с изображениями открытой местности. Полученный результат в
  45 % по метрике IoU превосходит результат существующих методов на 13 %. Показанные в работе
  изображения результатов применения новой сети позволяют убедиться в ее работоспособности.
  Также описано тестирование разработанного решения с проведением исследования быстродействия
  разработанной модели на ПК и мобильном вычислителе. Алгоритм на мобильном вычислителе показы-
  вает недостаточную скорость для выхода в режим реального времени – больше 3,5 секунд на обра-
  ботку одного кадра. В связи с этим, одно из направлений дальнейших исследований в области повыше-
  ния быстродействия системы.

• КОМПЛЕКСИРОВАНИЕ МОДЕЛЕЙ СЕГМЕНТАЦИИ, СОПРОВОЖДЕНИЯ И КЛАССИФИКАЦИИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ВИДЕОАНАЛИТИКИ

  А.Е. Архипов , И.С. Фомин , В.Д. Матвеев

  2024-04-16

  Аннотация ▼

  Комплексирование нескольких моделей в одну систему технического зрения позволит ре-
  шать более сложные и комплексные задачи. В частности, для мобильной робототехники и
  беспилотных летательных аппаратов (БЛА) является актуальной проблемой отсутствие на-
  боров данных для различных условий. В работе в качестве решения данной проблемы предлага-
  ется комплексирование нескольких моделей: сегментации, сопровождения и классификации.
  Это позволит значительно повысить качество решения сложных задач без дополнительного
  обучения. Модель сегментации позволяет выделять произвольные объекты из кадров, поэтому
  ее можно использовать в недетерминированных и динамических средах. Модель классификации
  позволяет определить необходимые для навигации объекты, которые затем сопровождаются
  с помощью третей модели. В работе подробно описан алгоритм комплексирования моделей.
  Ключевым элементом в алгоритме является коррекция предсказаний моделей, позволяющая
  достаточно надежно сегментировать и сопровождать различные объекты. Процедура кор-
  рекции предсказаний моделей решает следующие задачи: добавление новых объектов для сопро-
  вождения, валидация сегментированных масок объектов и уточнение сопровождаемых масок.
  Универсальность данного решения подтверждается работой в сложных условиях, на которых
  не обучали модели, например, подводная съемка или изображения с БЛА. Проведено экспери-
  ментальное исследование каждой из моделей в условиях открытой местности и в помещении.
  Наборы данных включали сцены актуальные для мобильной робототехники. В частности, в
  сценах присутствовали движущиеся объекты (человек, автомобиль) и возможные преграды на
  пути робота. Для большинства классов метрики качества сегментации превышали 80 %. Ос-
  новные ошибки связаны с размерами объектов. Проведенные эксперименты наглядно демонст-
  рируют универсальность данного решения без дополнительного обучения моделей. Дополни-
  тельно проведено исследование быстродействия на персональном компьютере с различными
  входными параметрами и разрешением. Увеличение количества моделей значительно повыша-
  ет вычислительную нагрузку и не достигает реального времени. Поэтому одним из направления
  дальнейших исследований является повышение быстродействия системы