Найти

Результаты поиска

• ПОВЫШЕНИЕ КАЧЕСТВА РАЗНОМОДАЛЬНЫХ ДАННЫХ НА ОСНОВЕ ГИБРИДИЗАЦИИ МЕТОДОВ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ И МУЛЬТИСЕНСОРНОГО СЛИЯНИЯ

  А. А. Александров , М.А. Бутакова

  21-38

  2026-09-10

  Аннотация ▼

  Исследуются методы предварительной обработки данных и слияния разномодальных данных. Собираемые с мультисенсорных устройств данные содержат шумы, аномалии и включают отказы датчиков. Использование неочищенных данных неизбежно приводит к получению ложных закономерностей при использовании моделей машинного обучения, в которых эти данные используются. Для улучшения качества данных необходимо применение специальных методов предварительной их обработки и слияния. Целью работы является создание гибридного конвейера предварительной обработки и мультисенсорного слияния данных, функционирующего на уровне периферийных вычислений. Для её достижения решены задачи удаления из данных последствий технических сбоев и шумов, временной синхронизации, масштабирования признаков и объединения дублирующих источников с учетом их динамического веса. Применены методы: межквартильного размаха для выявления выбросов, линейная интерполяция для их замены, фильтр высоких частот для подавления шумов и взвешенное мультисенсорное слияние с динамическим расчётом весов. Кроме того, представлены методы обработки визуальных, сенсорных и акустических данных в рамках гибридного конвейера, допускающие адаптацию для реализации на уровне периферийных вычислений. Экспериментальная проверка разработанного конвейера проведена на смоделированном наборе климатических данных с искусственно внесёнными зашумлениями и аномалиями. Предложенный подход продемонстрировал высокую эффективность восстановления данных. Для температуры воздуха коэффициент детерминации (R²) увеличился с 0,9807 до 0,9964 при незначительном изменении средней абсолютной процентной ошибки (MAPE) с 10,11% до 10,48%. Для относительной влажности метрика R² выросла с 0,9248 до 0,9675, а ошибка MAPE снизилась с 2,87% до 2,57%. Наиболее значительное улучшение достигнуто для атмосферного давления. Метрика R² с отрицательного значения -0,124 выросла до 0,974, а ошибка MAPE сократилась с 0,12% до 0,06 %. Полученные результаты подтверждают, что предложенный конвейер снижает погрешность и повышает качество мультисенсорных данных, минимизирует объём передаваемых данных. Практическая ценность заключается в создании непрерывного цикла локальной фильтрации и слияния данных без накопления погрешностей

• МЕТОДЫ И АЛГОРИТМЫ КЛАСТЕРИЗАЦИИ ТЕКСТОВЫХ ДАННЫХ (ОБЗОР)

  В.В. Бова , Ю.А. Кравченко , С.И. Родзин

  2022-11-01

  Аннотация ▼

  Рассматривается одна из важных задач искусственного интеллекта – машинная об-
  работка естественного языка. Решение данной задачи на основе кластерного анализа по-
  зволяет выявлять, формализовывать и интегрировать большие объемы лингвистической
  экспертной информации в условиях информационной неопределенности и слабой структу-
  рированности исходных текстовых ресурсов, полученных из различных предметных облас-
  тей. Кластерный анализ является мощным средством разведочного анализа текстовых
  данных, позволяющий провести объективную классификацию любых объектов, которые
  охарактеризованы рядом признаков и имеют скрытые закономерности. Проведен обзор и
  анализ современных модифицированных алгоритмов агломеративной кластеризации CURE,
  ROCK, CHAMELEON, неиерархической кластеризации PAM, CLARA и алгоритма аффинно-
  го преобразования, используемых на различных этапах кластеризации текстовых данных,
  эффективность которых проверяется экспериментальными исследованиями. В работе
  обоснованы требования к выбору наиболее эффективного метода кластеризации для ре-
  шения задачи повышения эффективности интеллектуальной обработки лингвистической
  экспертной информации. Также в работе рассмотрены способы визуализации результатов
  кластеризации для интерпретации кластерной структуры и зависимостей на множестве
  элементов текстовых данных и графические средства их представления в виде дендо-
  грамм, диаграмм рассеивания, диаграмм сходства VOS и карт интенсивности. Для сравне-
  ния качества работы алгоритмов использовались внутренние и внешние метрики эффек-
  тивности: «V-мера», «Adjusted Rand index», «Силуэт». На основании проведенных экспери-
  ментов выявлено, что необходимо использовать гибридный подход, в котором для перво-
  начального выбора числа кластеров и распределения их центров использовать иерархиче-
  ский подход, основанный на последовательном объединении и максимизации близости дан-
  ных ограниченной выборки, когда нет возможности выдвинуть гипотезу о начальном ко-
  личестве кластеров. Далее подключать алгоритмы итерационной кластеризации, обеспе-
  чивающие высокую устойчивость по отношению к шумовым признакам и наличию выбро-
  сов. За счет гибридизации повышается эффективность работы алгоритмов кластериза-
  ции. Результаты исследований показали, что для повышения вычислительной эффективно-
  сти и преодоления чувствительности при инициализации параметров алгоритмов класте-
  ризации для оптимизации параметров модели обучения и поиска глобального оптимального
  решения необходимо использовать метаэвристические подходы.