Найти

Результаты поиска

• ОПТИМИЗАЦИЯ ВЫЧИСЛИТЕЛЬНОЙ СХЕМЫ ИНТЕРПОЛЯЦИИ ДЕКАДНЫХ МЕТЕОРОЛОГИЧЕСКИХ ДАННЫХ МЕТОДОМ ОБРАТНОГО ВЗВЕШИВАНИЯ ПО РАССТОЯНИЮ С ПАРАЛЛЕЛЬНОЙ ОБРАБОТКОЙ МНОЖЕСТВЕННЫХ ВРЕМЕННЫХ СРЕЗОВ

  О.М. Голозубов , А.В. Козловский , Э.В. Мельник , Я.Э. Мельник , А.Н. Самойлов

  22-32

  2025-12-30

  Аннотация ▼

  Настоящее исследование посвящено решению проблемы вычислительной неэффективности при пространственной интерполяции больших массивов декадных метеорологических данных с использованием метода обратного взвешивания по расстоянию. Традиционные подходы, предполагающие последовательную и независимую обработку каждого временного среза, демонстрируют линейный рост времени выполнения и значительное потребление оперативной памяти, что становится критическим барьером для оперативного построения детализированных и географически привязанных растровых полей в формате GeoTIFF. Это существенно ограничивает применение метода в задачах, требующих быстрой обработки многолетних архивов данных. Целью данной работы является разработка и валидация оптимизированной вычислительной схемы, позволяющей радикально сократить временные затраты при сохранении полноты и точности результатов. Ключевая научная новизна предложенного подхода заключается в фундаментальном переосмыслении вычислительного процесса. Вместо многократного повторения идентичных операций, предложена схема, основанная на однократном расчете полного вектора геодезических расстояний от каждой ячейки растра до всех метеостанций. Эта наиболее ресурсоемкая операция выполняется лишь один раз. В дальнейшем, полученный вектор расстояний применяется ко всем временным срезам (декадам) для вычисления интерполированных значений, что устраняет основную вычислительную избыточность и обеспечивает сублинейную зависимость времени обработки от числа декад. Для дальнейшего повышения производительности применяется механизм параллельной обработки на уровне центрального процессора, реализованный посредством динамического разделения растра на независимые вычислительные блоки (батчи). Размер батчей адаптивно регулируется с учетом доступной оперативной памяти, что гарантирует стабильность и масштабируемость решения на системах различной мощности. Апробация метода на реальных метеорологических данных за период 2015-2024 годов продемонстрировала радикальное сокращение времени выполнения. В частности, обработка десяти декадных временных срезов на стандартном ноутбуке занимает менее 3,5 минут, а на серверной платформе – около 3 минут, что представляет собой многократное ускорение по сравнению с традиционными реализациями. Таким образом, разработанное решение делает оперативную обработку больших пространственно-временных метеорологических массивов реальностью для широкого круга исследователей, открывая новые возможности для климатического мониторинга, агрометеорологии и геоинформационного анализа без необходимости привлечения специализированного дорогостоящего оборудования.

• ВЕКТОРИЗАЦИЯ ТЕКСТА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ

  Али Махмуд Мансур , Жуман Хуссайн Мохаммад , Ю. А. Кравченко

  2021-07-18

  Аннотация ▼

  В задачах интеллектуального анализа текста текстовое представление должно
  быть не только эффективным, но и интерпретируемым, поскольку это позволяет понять
  операционную логику, лежащую в основе моделей интеллектуального анализа данных. Тра-
  диционные методы векторизации текста, такие как TF-IDF и Bag-of-words, эффективны
  и имеют интуитивно понятную интерпретируемость, но страдают от «проклятия раз-
  мерности» и не могут понимать смысл слов. С другой стороны, современные распределен-
  ные методы эффективно определяют скрытую семантику, но требуют больших вычисли-
  тельных ресурсов и времени, а также им не хватает интерпретируемости. В этой ста-
  тье предлагается новый метод векторизации текстов под названием Bag of weighted Concepts
  BoWC, который представляет документ в соответствии с содержащейся в нем ин-
  формацией о концептах. Предлагаемый метод создает концепты посредством кластери-
  зации векторов слов (т.е. встраивания слов), и использует частоты этих кластеров концептов для представления векторов документов. Чтобы обогатить итоговое представле-
  ние документа, предлагается модифицированная весовая функция для взвешивания кон-
  цептов на основе статистики, извлеченной из информации вложений слов. Векторы, сге-
  нерированные с помощью предложенного метода, характеризуются интерпретируемо-
  стью, низкой размерностью, высокой точностью, а также низкими вычислительными
  затратами при использовании в задачах классификации и кластеризации. Предлагаемый
  метод протестирован на пяти различных наборах эталонных данных для кластеризации и
  классификации текстовых документов и сравнивается с несколькими базовыми методами,
  включая Bag-of-words, TF-IDF, Averaged GloVe, Bag-of-Concepts и VLAC. Результаты пока-
  зывают, что BoWC превосходит большинство базовых методов и дает в среднем на 7 %
  лучшую точность.