Найти

Результаты поиска

• СОПОСТАВЛЕНИЕ СПАЙКОВЫХ ПРЕДСТАВЛЕНИЙ ДЛЯ ЛОКАЛИЗАЦИИ И НАВИГАЦИИ В КАРТЕ КЛЮЧЕВЫХ КАДРОВ

  И.С. Фомин , В.Д. Матвеев , А.Е. Архипов

  273-284

  2025-10-01

  Аннотация ▼

  Задача навигации мобильной робототехнической платформы в известном окружении достаточно давно и качественно решается с использованием плоской карты, которая строится с использованием лидара. Тем не менее, регулярно возникают ситуации, когда платформа по тем или иным причинам не оснащена лидаром или иными активными средствами навигации. При этом на платформе обычно установлена камера, предназначенная для визуального контроля обстановки оператором, которая также может быть использована для навигации при перемещении робота в известной среде. Хорошо известны примеры алгоритмов навигации, основанных на использовании последовательности ключевых кадров, например, визуальный SLAM. При этом в качестве ключевых кадров рассматриваются различные варианты видеоизображений (размытые, маскированные и т.д.). В данной работе в качестве базы для навигации рассматривается когнитивная (не-метрическая, непространственная) карта ключевых кадров, представляющих собой спайковое представление наблюдаемых изображений. В работе проанализирована возможность использования разработанных в ЦНИИ РТК нейроморфных информационно-управляющих элементов для выполнения процедуры сопоставления текущего спайкового изображения со спайковыми изображениями ключевой последовательности. Показано, что путем такого сопоставления может быть определен ближайший к текущему ключевой кадр, а также могут быть подобраны параметры сдвига спайковых представлений, что для когнитивной карты является аналогом локализации и навигации. Приведено описание программного средства эмуляции построения карты и перемещения в ней для экспериментальной отработки предложенных алгоритмов. Выполнен сбор данных и экспериментальное исследование качества работы алгоритмов локализации и навигации. Для чего собрано несколько карт ключевых кадров с различным характером перемещения между кадрами. При определении положения кадра в карте получено качество от 70 до 98 %, при определении направления смещения между кадрами точность составила от 94 до 97 %. Полученные результаты оценены как достаточные для решения поставленных перед алгоритмом задач

• РАЗРАБОТКА МОДЕЛИ СЕМАНТИЧЕСКОЙ СЕГМЕНТАЦИИ RTC-SAM ДЛЯ ОПРЕДЕЛЕНИЯ ПРЕПЯТСТВИЙ НА ПУТИ МОБИЛЬНОГО РОБОТА

  В.Д. Матвеев , А. Е. Архипов , И. С. Фомин

  2025-04-27

  Аннотация ▼

  Задача определения препятствий перед мобильным роботом успешно и давно решена с примене-
  нием лазерных и ультразвуковых датчиков. Однако, препятствия, не обнаруживаемые такими видами
  датчиков, могут угрожать безопасности робота. Для их обнаружения в работе предлагается исполь-
  зовать систему технического зрения (СТЗ), информацию с которой обрабатывает нейронная сеть
  семантической сегментации, возвращающая маску препятствия на кадре и его класс. Основой для та-
  кой сети стала сеть универсальной сегментации SAM, требующая доработки для применения к задаче
  семантической сегментации. Особенность данной сети состоит в ее универсальной применимости, то
  есть возможности выделения любых объектов в произвольных условиях съемки. При этом SAM не
  предсказывает семантику объекта. В данной работе предложен дополнительный модуль, позволяю-
  щий реализовать семантическую сегментацию за счет классификации признаков выделяемых объек-
  тов. Обоснована возможность использования такого модуля для решения задачи дополнения выхода
  сети новой информацией. Результат классификации далее поступает в тот же алгоритм фильтра-
  ции, что и маски, чтобы гарантировать соответствие между полученным результатом универсаль-
  ной сети и дополняющего модуля. После интеграции модуля с моделью получена новая модель семанти-
  ческой сегментации, названная в работе RTC-SAM. С ее помощью проведена семантическая сегмента-
  ция общедоступного набора данных с изображениями открытой местности. Полученный результат в
  45 % по метрике IoU превосходит результат существующих методов на 13 %. Показанные в работе
  изображения результатов применения новой сети позволяют убедиться в ее работоспособности.
  Также описано тестирование разработанного решения с проведением исследования быстродействия
  разработанной модели на ПК и мобильном вычислителе. Алгоритм на мобильном вычислителе показы-
  вает недостаточную скорость для выхода в режим реального времени – больше 3,5 секунд на обра-
  ботку одного кадра. В связи с этим, одно из направлений дальнейших исследований в области повыше-
  ния быстродействия системы.

• КОМПЛЕКСИРОВАНИЕ МОДЕЛЕЙ СЕГМЕНТАЦИИ, СОПРОВОЖДЕНИЯ И КЛАССИФИКАЦИИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ВИДЕОАНАЛИТИКИ

  А.Е. Архипов , И.С. Фомин , В.Д. Матвеев

  2024-04-16

  Аннотация ▼

  Комплексирование нескольких моделей в одну систему технического зрения позволит ре-
  шать более сложные и комплексные задачи. В частности, для мобильной робототехники и
  беспилотных летательных аппаратов (БЛА) является актуальной проблемой отсутствие на-
  боров данных для различных условий. В работе в качестве решения данной проблемы предлага-
  ется комплексирование нескольких моделей: сегментации, сопровождения и классификации.
  Это позволит значительно повысить качество решения сложных задач без дополнительного
  обучения. Модель сегментации позволяет выделять произвольные объекты из кадров, поэтому
  ее можно использовать в недетерминированных и динамических средах. Модель классификации
  позволяет определить необходимые для навигации объекты, которые затем сопровождаются
  с помощью третей модели. В работе подробно описан алгоритм комплексирования моделей.
  Ключевым элементом в алгоритме является коррекция предсказаний моделей, позволяющая
  достаточно надежно сегментировать и сопровождать различные объекты. Процедура кор-
  рекции предсказаний моделей решает следующие задачи: добавление новых объектов для сопро-
  вождения, валидация сегментированных масок объектов и уточнение сопровождаемых масок.
  Универсальность данного решения подтверждается работой в сложных условиях, на которых
  не обучали модели, например, подводная съемка или изображения с БЛА. Проведено экспери-
  ментальное исследование каждой из моделей в условиях открытой местности и в помещении.
  Наборы данных включали сцены актуальные для мобильной робототехники. В частности, в
  сценах присутствовали движущиеся объекты (человек, автомобиль) и возможные преграды на
  пути робота. Для большинства классов метрики качества сегментации превышали 80 %. Ос-
  новные ошибки связаны с размерами объектов. Проведенные эксперименты наглядно демонст-
  рируют универсальность данного решения без дополнительного обучения моделей. Дополни-
  тельно проведено исследование быстродействия на персональном компьютере с различными
  входными параметрами и разрешением. Увеличение количества моделей значительно повыша-
  ет вычислительную нагрузку и не достигает реального времени. Поэтому одним из направления
  дальнейших исследований является повышение быстродействия системы