Найти

Результаты поиска

• РАЗРАБОТКА МОДЕЛИ СЕМАНТИЧЕСКОЙ СЕГМЕНТАЦИИ RTC-SAM ДЛЯ ОПРЕДЕЛЕНИЯ ПРЕПЯТСТВИЙ НА ПУТИ МОБИЛЬНОГО РОБОТА

  В.Д. Матвеев , А. Е. Архипов , И. С. Фомин

  2025-04-27

  Аннотация ▼

  Задача определения препятствий перед мобильным роботом успешно и давно решена с примене-
  нием лазерных и ультразвуковых датчиков. Однако, препятствия, не обнаруживаемые такими видами
  датчиков, могут угрожать безопасности робота. Для их обнаружения в работе предлагается исполь-
  зовать систему технического зрения (СТЗ), информацию с которой обрабатывает нейронная сеть
  семантической сегментации, возвращающая маску препятствия на кадре и его класс. Основой для та-
  кой сети стала сеть универсальной сегментации SAM, требующая доработки для применения к задаче
  семантической сегментации. Особенность данной сети состоит в ее универсальной применимости, то
  есть возможности выделения любых объектов в произвольных условиях съемки. При этом SAM не
  предсказывает семантику объекта. В данной работе предложен дополнительный модуль, позволяю-
  щий реализовать семантическую сегментацию за счет классификации признаков выделяемых объек-
  тов. Обоснована возможность использования такого модуля для решения задачи дополнения выхода
  сети новой информацией. Результат классификации далее поступает в тот же алгоритм фильтра-
  ции, что и маски, чтобы гарантировать соответствие между полученным результатом универсаль-
  ной сети и дополняющего модуля. После интеграции модуля с моделью получена новая модель семанти-
  ческой сегментации, названная в работе RTC-SAM. С ее помощью проведена семантическая сегмента-
  ция общедоступного набора данных с изображениями открытой местности. Полученный результат в
  45 % по метрике IoU превосходит результат существующих методов на 13 %. Показанные в работе
  изображения результатов применения новой сети позволяют убедиться в ее работоспособности.
  Также описано тестирование разработанного решения с проведением исследования быстродействия
  разработанной модели на ПК и мобильном вычислителе. Алгоритм на мобильном вычислителе показы-
  вает недостаточную скорость для выхода в режим реального времени – больше 3,5 секунд на обра-
  ботку одного кадра. В связи с этим, одно из направлений дальнейших исследований в области повыше-
  ния быстродействия системы.