Для авторов
Найти
Результаты поиска
Найдено результатов: 13.
-
КЛАССИФИКАЦИЯ УЗЛОВ – ОБРАБОТЧИКОВ В СИСТЕМАХ БОЛЬШИХ ДАННЫХ В СООТВЕТСТВИИ С ПОДХОДОМ НУЛЕВОГО ДОВЕРИЯ
М.А. Полтавцева , Д. В. Иванов55-622025-07-24Аннотация ▼Кибербезопасность данных является одним из важнейших факторов успешной реализации национального проекта «Экономика данных и цифровая трансформация государства». Проблемы построения защищенных систем обработки больших данных заключаются в их гетерогенной природе, большом числе разнородных инструментов, высокой связности и высоком доверии между распределенными компонентами. Снижение внутреннего доверия и уменьшение поверхности атаки в соответствии с подходом zero-trust необходимо для повышения защищенности таких систем с наименьшим влиянием на их производительность. Целью работы является создание метода динамической классификации узлов и компонент обработки данных в гетерогенных системах больших данных на основе применения различных подходов к снижению доверия в отношении объектов, реализующих процесс обработки информации. Рассматривается подход нулевого доверия применительно к исследуемому классу систем, а также ставится задача расширенной реализации принципа минимальных привилегий уменьшения поверхности атаки. Представлена классификация узлов – обработчиков на основе выполняемых ими операций с данными, унифицированных согласно разработанной ранее концептуальной модели данных. Предлагается сопоставление узлов и применяемых в их отношении методов безопасности на основе необходимости доступа к семантике и компонентам данных для выполнения операций. На основе данной классификации разработан метод динамического определения класса узлов-обработчиков данных в процессе работы системы для ситуаций изменения компонентного состава системы обработки больших данных, типичной для многокомпонентных распределенных высоконагруженных систем. Результаты работы являются частью комплексного консистентного подхода к построению защищенных систем обработки больших данных
-
АЛГОРИТМ ОБЕСПЕЧЕНИЯ ЗАЩИТЫ КОНФИДЕНЦИАЛЬНЫХ ДАННЫХ ОБЛАЧНОЙ МЕДИЦИНСКОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ
Л.К. Бабенко , А.С. Шумилин , Д.М. Алексеев2021-12-24Аннотация ▼Целью работы является разработка и реализация архитектуры облачной системы
хранения, систематизации и обработки результатов обследований (на примере ЭЭГ) и
алгоритма обеспечения защиты конфиденциальных данных на основе полностью гомо-
морфной криптосистемы. Объектом исследования являются технологии хранения, переда-
чи, обработки и защиты конфиденциальной информации в распределенных медицинских
информационных системах. Разработана архитектура облачной платформы распределен-
ного хранения, обработки, систематизации и защиты конфиденциальных данных (резуль-
татов медицинских обследований), позволяющая взаимодействовать с различными меди-
цинскими информационными системами и аппаратными средствами диагностики с целью
формирования больших данных. Разработан алгоритм обеспечения безопасности медицин-
ских данных, хранимых в облачной платформе в электронном виде, регистрируемых при
проведении обследований пациентов с целью расчета среднего значения для каждого из
ритмов мозговой активности (по результатам серии обследований за длительный период
времени) с использованием алгоритма полностью гомоморфного шифрования. На основе
результатов тестирования (анализ времени выполнения таких операций, как: шифрование,
дешифрование, сложение, умножение, отношение сигнал шум зашифрованного текста к
открытому тексту) из двух потенциальных претендентов на использование в качестве
алгоритмов полностью гомоморфного шифрования (схемы BFV и CKKS) выбран опти-
мальный алгоритм. В результате показано, что схема полностью гомоморфного шифро-
вания CKKS наиболее эффективна, особенно в условиях критичности требований к высо-
кому уровню безопасности конфиденциальных данных, чем обусловлен выбор данной схемы
для реализации предложенного в настоящей работе алгоритма. -
АЛГОРИТМ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ КОНФИДЕНЦИАЛЬНЫХ ДАННЫХ МЕДИЦИНСКОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ ХРАНЕНИЯ И ОБРАБОТКИ РЕЗУЛЬТАТОВ ОБСЛЕДОВАНИЙ
Л. К. Бабенко, А. С. Шумилин , Д. М. Алексеев2021-01-19Аннотация ▼Цели исследования состоят в разработке и оценке эффективности структуры облачной
платформы хранения, обработки и систематизации медицинских данных, определении метода
защиты, в частности, обеспечения конфиденциальности при передаче и хранении результатов
обследований. Для достижения поставленной цели решаются задачи анализа существующих
моделей информационных процессов и структур в предметной области, особенности средств
накопления и обработки медицинских данных, хранящихся в электронных информационных сис-
темах учёта пациентов, разрабатывается архитектура облачной платформы распределенного
хранения данных и алгоритм обеспечения безопасности медицинских данных, хранимых в облач-
ной платформе в электронном виде в форме исходных физиологических сигналов (ЭЭГ, ЭКГ,
ЭМГ, ЭОГ и т.д.), регистрируемых при проведении обследований пациентов; создается интегри-
руемая облачная платформа распределенного хранения, анализа и систематизации медицинских
данных и система обеспечения безопасности с использованием разработанного метода защиты;
анализируется эффективность предложенного алгоритма защиты конфиденциальной медицин-
ской информации в условиях интеграции в разработанную облачную платформу. Предлагаемый
способ защиты медицинской информационной системы подразумевает использование исходного
файла формата DICOM и впоследствии преобразованного изображения в формате PNG, кото-
рое подвергается алгоритму шифрования пикселей. Для шифрования изображения применяется
алгоритм на основе теории хаоса. Возможности систем хаоса позволяют значительно повы-
сить производительность. Иерархичное разделение потоков данных на уровни и стандартиза-
ция протоколов передачи данных, а также форматов их хранения позволяют сформировать
универсальную, гибкую и надежную медицинскую информационную систему. Предлагаемая ар-
хитектура имеет возможность интеграции в существующие медицинские системы. В ходе
работы установлено, что рассматриваемый метод защиты является эффективным способом
обеспечения конфиденциальности данных медицинской системы -
РЕАЛИЗАЦИЯ МЕТОДОВ СИНХРОНИЗАЦИИ ИНФОРМАЦИОННЫХ ПОТОКОВ В СИСТЕМАХ ЦИФРОВОЙ ОБРАБОТКИ СИГНАЛОВ
И.И. Левин, Д.С. Буряков119-1342025-07-24Аннотация ▼В задачах цифровой обработки сигналов, предполагающих когерентную обработку данных от фазированной антенной решетки, важно обеспечить согласованное поступление оцифрованных данных от антенных элементов в узлы обработки. С ростом числа каналов передачи данных в комплексах ЦОС существенно возрастает вероятность возникновения ошибок в каналах передачи данных, что выдвигает повышенные требования к обеспечению гарантоспособности программного комплекса изохронной передачи данных. В статье представлены результаты разработки и реализации методов, повышающих гарантоспособность изохронной передачи данных. Предложен комбинированный метод изохронной передачи данных, отличающийся применением служебных промежутков при передаче массивов операндов и динамической компенсацией задержек в каналах данных. Выделены наиболее вероятные ошибки, возникающие при передаче данных и предложены способы их парирования. Описан программный комплекс, реализующий комбинированный метод. Используя атрибутивную модель гарантоспособности, проведен анализ гарантоспособности программного комплекса. Анализ показал, что использование комбинированного метода позволит в четыре раза увеличить количество каналов передачи данных в комплексе ЦОС при заданном уровне гарантоспособности и фиксированном времени доверительной работы по сравнению с базовым методом. При значительном увеличении количества каналов передачи данных возникает необходимость сохранения заданного уровня гарантоспособности. В этой связи предложен модернизированный метод изохронной передачи данных, в котором были усовершенствованы алгоритмы проверки целостности данных, проверки допустимого диапазона рассогласования задержек в каналах данных и добавлен алгоритм переключения опорных каналов. Оценка гарантоспособности реализации модернизированного метода показала его способность обеспечить двукратное увеличение числа каналов данных по сравнению с комбинированным методом.
-
ТРАНСФОРМАЦИЯ И АНАЛИЗ ИНФОРМАЦИИ ПРИ СОЗДАНИИ БАЗЫ ДАННЫХ УЧАСТНИКОВ ВЕЛИКОЙ ОТЕЧЕСТВЕННОЙ ВОЙНЫ 1941–1945 ГОДОВ МЕМОРИАЛЬНОГО КОМПЛЕКСА «ДОРОГА ПАМЯТИ» ГЛАВНОГО ХРАМА ВООРУЖЕННЫХ СИЛ РОССИЙСКОЙ ФЕДЕРАЦИИ НА ОСНОВЕ КОМПЬЮТЕРНЫХ МЕТОДОВ ОБРАБОТКИ ИНФОРМАЦ
С.А. Боцвин С.А., В.А. Хватков2021-11-14Аннотация ▼Сохранение исторической памяти об участниках Великой Отечественной войны
1941–1945 годов является задачей мирового уровня, которая должна сберечь правду о са-
мой страшной войне и подвиге нашего народа. В современных условиях привлечение инте-
реса к истории, традициям и наконец признанию своего долга перед ушедшими поколения-
ми требует современных методов. Одним из таких методов является трансформация
информация, которая позволяет представить эту информацию в таком виде, чтобы она
могла быть использована наиболее эффективно. При этом основной целью при трансфор-
мации исторических данных заключается в оптимизации их представлений и форматов и
не изменении информационного содержания. Представленные алгоритмы трансформации
и анализа информации при создании базы данных участников Великой Отечественной вой-
ны были направлены на максимальное сохранение исторической ценности и достоверности
информации. Для достижения этой цели рассмотрены компьютерные методы обработки
информации для нормализации и консолидации персональных данных, полученных из различ-
ных источников. Проведен анализ содержания сведений в архивных документах с пред-
ставлением статистических данных по количеству документов (записей) из различных
источников (архивов, базах данных, информационных ресурсов и т.п.) и описан порядок
перевода информации из архивных документов в электронный вид, который был применен
на практике. На основании анализа сведений построены диаграммы содержания
персональных сведений в архивных источниках, представлены этапы систематизации и
приведения к единому формату записей обобщенного информационного массива, а также
порядок объединения и удаления дублирующих записей. Для возможности использования
вдругих проектах подробно изложен алгоритм консолидации данных, полученных из
различных источников, и постороена его блок-схема. Кроме того описаны примененные
алгоритмы нечеткого поиска, которые позволили минимизировать ошибки в записях, а
также алгоритмы сравнения изображений для поиска дубликатов по фотографиям. Все
приведенные алгоритмы позволили собрать воедино информацию, содержащуюся на раз-
личных носителях, имеющую разные структуры и географическое положение. Созданный
информационный ресурс позволяет колоссально сократить ресурсы необходимые для поиска нужных сведений, в том числе доступ к которым был ограничен или вообще отсутст-
вовал. Дальнейшее усовершенствование алгоритмов нормализации и консолидации инфор-
мации может послужить основой для миграции данных из устаревших в перспективные
системы, а также для формирования информационных ресурсов из имеющихся разнород-
ных архивных фондов. -
РАЗРАБОТКА РАСПРЕДЕЛЕННОЙ СИСТЕМЫ УПРАЛВЛЕНИЯ ТЕПЛОВЫМИ ПРОЦЕССАМИ ГИДРАВЛИЧЕСКОГО ПРЕССА
А.Л. Ляшенко2021-12-24Аннотация ▼Рассмотрена необходимость регулирования температуры теплоносителя в гидрав-
лических прессах, обеспечивающих горячее склеивание фанеры, регулирование давления в
каналах пресса и поддержания технологических параметров на заданном уровне. В качест-
ве объекта управления рассмотрен колонный гидравлический пресс П-714-Б для горячего
склеивания фанеры, установленный на Усть-Ижорском фанерном комбинате. В статье
представлено описание колонного гидравлического пресса. Для мониторинга параметров
представленной установки фанерного производства, предлагается рассмотреть нагрева-
тельные плиты пресса и пакеты фанеры как объект с распределенными параметрами.
Для разработки математической модели объекта управления была рассмотрена функцио-
нальная схема данного устройства с основным оборудованием и технологическими пото-
ками теплоносителя. Разработана методика моделирования объектов данного класса как
объектов с распределёнными параметрами. Рассмотрение процессов, протекающих в каналах нагревательных плит, позволило составить дифференциальные уравнения движения,
описывающие течение рабочей среды в системе каналов. Разработанная методика мате-
матического моделирования распространения тепла в нагревательных плитах пресса и
пакетах фанеры позволила составить математическую модель для рассматриваемого
объекта. Данная математическая модель получилась достаточно сложной, и решить
полученную систему дифференциальных уравнений в частных производных аналитически
(выделить передаточную функцию) не представляется возможным. Для численного анали-
за рассматриваемого объекта управления были составлены дискретная модель уравнений
и вычислительный алгоритм. В процессе составления дискретных моделей были решены
задачи «стыковки» граничных условий, обеспечения устойчивости вычислительной схемы и
выбраны шаги дискретизации по пространственным переменным. Для компьютерного
моделирования было специально разработано программное обеспечение. С его помощью
были рассчитаны значения температур в контрольных точках. Представленная матема-
тическая модель позволила произвести численный эксперимент, в результате которого
были получены частотные характеристики исследуемого объекта. Данные характеристи-
ки были использованы при синтезе распределенного высокоточного регулятора. -
ПРОЕКТИРОВАНИЕ БАЗЫ ДАННЫХ СОСТОЯНИЙ ДЛЯ ОНЛАЙН И ОФЛАЙН ОБРАБОТКИ ДАННЫХ ЭКСПЕРИМЕНТАЛЬНЫХ УСТАНОВОК КОМПЛЕКСА NICA
К. В. Герценбергер, А.И. Чеботов, И.Н. Александров, И. А. Филозова, Е.И. Александров2021-02-25Аннотация ▼Хранение, обработка и анализ экспериментальных и смоделированных данных являются
неотъемлемой частью всех современных экспериментов физики высоких энергий. Эти задачи
имеют важное значение в экспериментах комплекса NICA, строящегося в Объединенном ин-
ституте ядерных исследований (ОИЯИ), из-за большой частоты взаимодействия и множест-
венности частиц в событиях столкновения ионов, в связи с этим особенно актуальна автома-
тизация рассматриваемых процессов для комплекса NICA. Для решения поставленной задачи
современные физические эксперименты используют информационные системы различной на-
правленности, которые позволяют управлять потоками данных и обслуживать большое коли-
чество одновременных запросов на требуемую информацию от различных систем эксперимен-
та и их пользователей. В статье описывается проектирование новой информационной систе-
мы на основе базы данных состояний, а также сопутствующие информационные сервисы для
автоматизации хранения и обработки данных и информации об экспериментах проекта NICA.
Разрабатываемая база данных состояний предназначена для хранения, поиска и использования
различных параметров и информации о режимах работы систем эксперимента. База данных,
реализуемая при помощи СУБД (системы управления базами данных) PostgreSQL, будет отве-
чать за предоставление хранимой информации для обработки данных событий и их физическо-
го анализа, а также за организацию прозрачного единого доступа и управление данными на
протяжении всего жизненного цикла проводимых научных исследований. В статье показаны
схема и цели создаваемой базы данных состояний, представлены её атрибуты, а также выде-
лены ключевые аспекты разработки. Показано место базы данных состояний в архитектуре
обработки потока данных эксперимента. Также в статье описана интеграция данной инфор-
мационной системы с используемым программным обеспечением экспериментов. Начата раз-
работка интерфейсов базы данных состояний для использования хранимых параметров и ин-
формации об эксперименте в задачах моделирования событий, обработки “сырых” данных,
реконструкции и физического анализа -
МОДИФИЦИРОВАННАЯ РАСПРЕДЕЛЕННАЯ АРХИТЕКТУРА ОБРАБОТКИ ДАННЫХ ДЛЯ ГЕОИНФОРМАЦИОННЫХ СИСТЕМ
М. Ю. Поленов , Д.А. Иванов2021-02-13Аннотация ▼Предложена модифицированная распределенная архитектура обработки данных на
основе модели клиент-сервер, как один из вариантов реализации программного приложения
геоинформационной системы. Проведенный обзор существующих геоинформационных
систем и их классификация с точки зрения архитектуры продемонстрировали перспек-
тивность применения распределенной архитектуры. Однако, системы, разработанные на
основе традиционной распределенной архитектуры, сталкиваются с проблемами ото-
бражения обработанных трехмерных данных в реальном времени на вычислительных уст-
ройствах с низкой производительностью. В связи с этим целью данной работы является
разработка и исследование модифицированной архитектуры геоинформационных систем,
позволяющей снизить требования к вычислительным устройствам клиентов. Актуаль-
ность темы исследования заключается в том, что в настоящее время существуют уст-
ройства способные поддержать работу только тонких клиентов, которые зачастую
имеют малый функционал и не способны решать тяжелые вычислительные задачи. В
статье рассмотрены особенности структурной и программной реализации геоинформационной системы на основе традиционной архитектуры и предложенной модифицирован-
ной распределенной архитектуры. Приведены результаты экспериментов проведенных на
двух разработанных программных приложениях, имеющих различную архитектуру. Про-
граммная реализация модифицированной архитектуры и результаты экспериментов, по-
казали целесообразность ее применения для геоинформационных систем на пользователь-
ских вычислительных устройствах с невысокой производительностью. Предложенная ар-
хитектура может быть использована и в других распределенных системах. Особенно в
таких, где стоят задачи отображения трехмерной информации на тонких клиентах -
ИДЕНТИФИКАЦИЯ КЛЮЧЕВЫХ ТЕХНОЛОГИЙ НА ОСНОВЕ СБОРА И АНАЛИЗА ДАННЫХ ИЗ ОТКРЫТЫХ РУССКОЯЗЫЧНЫХ ИСТОЧНИКОВ
А.Г. Бондаренко , А.Г. Кравец144-1592025-07-24Аннотация ▼Данная статья посвящена разработке и апробации нового подхода к сбору, обработке и анализу открытых данных на русском языке для идентификации ключевых технологических направлений. Для решения задачи формирования и последующего анализа структурированных датасетов разработаны и программно реализованы методы веб-скрейпинга, обработки естественного языка и анализа временных рядов. Описанный в статье подход впервые применен для извлечения и структурирования информации из научных статей, новостных ресурсов и патентной документации на русском языке. В результате анализа полученного датасета научных публикаций выделены 30 наиболее часто упоминаемых биграмм и столько же триграмм технологических терминов.
На основе анализа частотности биграмм и триграмм выделены ключевые технологические термины, которые затем использованы для комплексной фильтрации по ключевым технологиям. Комплексная фильтрация позволила осуществить поиск русскоязычных патентов и их сбор для дальнейшего анализа. В результате предварительной обработки полученной патентной информации сформированы временные ряды патентной активности. Программная система идентификации ключевых технологий реализована на JavaScript и Python с использованием библиотек Selenium и BeautifulSoup для веб-скрейпинга, NLTK и Scikit-learn для обработки и анализа текстовых данных. Исследование динамики развития ключевых технологий во времени позволило выявить периоды интенсивной патентной деятельности и снижения интереса к той или иной технологии. Результаты, изложенные в статье, создают основу для дальнейшей разработки методов машинного обучения с целью прогнозирования технологического развития и выявления перспективных направлений прикладных исследований. -
ПРЕОБРАЗОВАТЕЛИ УНИТАРНЫХ КОДОВ ДЛЯ ОДНОРОДНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ
Е.А. Титенко104-1152025-11-10Аннотация ▼Актуальность. Эффективная работа вычислительных систем, в том числе, основывается на общезначимых обеспечивающих вычислениях по планированию параллельных вычислений и анализу результатов. Достаточно важными вычислительными средствами являются преобразователи (формирователи) унитарных кодов, совмещающих свойства числовой и символьной информации. Цель работы – создание высокопроизводительных вычислительных схем для обработки унитарных кодов на единой теоретической основе. Методы исследования. Известные одномерные и двумерные итерационные сети являются основой для создания однородных преобразователей унитарных кодов. Такие сети имеют необходимые и достаточные условия для организации параллельных вычислений. Для синтеза преобразователей унитарных кодов были выделены следующие принципы обработки, свойственные для чисел и строк: двунаправленность обработки, разбиение на множество локальных процессов с собственными стартовыми точками, иерархия, мультифункцинальность, дуализм цифра/символ. Описанные преобразователи используют известные и привносят новые схемотехнические решения. Описаны цифровой компрессор, формирователь серии логических «1», арбитр, пороговый элемент весовых и унитарных кодов. Результаты и обсуждения. Созданы практически значимые схемы прямых и обратных преобразователей кодов «8-4-2-1 – нормализованный код», используемые в однородных вычислительных системах – мультипроцессорах, ассоциативных процессорах и др. Количественные оценки преобразователей унитарных кодов проведены для порогового элемента весового и унитарного кодов. Данный преобразователь основан на дуальной трактовке элементов кода как цифры или символа, что позволило на завершающей фазе вычислений (против стандартного метода) исключить линейную временную зависимость для вычисления результата сравнения двух кодов. Показано, что для унитарных кодов размеров от 12 до 36 бит временной выигрыш составляет 14-16%. Данный эффект получен за счет исключения последовательных вычислений между ячейками итерационной сети. Выводы. Для построения эффектных по времени схем преобразования унитарных кодов использован и развит аппарат итерационных сетей, на основе которых созданы одномерные, двумерные итерационные сети с регулярными связями, а также преобразователи на основе универсальных логических модулей.
-
МЕТОД ГЕНЕРАЦИИ ШУМА ПО НАБОРУ ЗАШУМЛЕННЫХ ИЗОБРАЖЕНИЙ БЕЗ ЧИСТЫХ ПРИМЕРОВ
А.С. Коваленко , Я. М. Демяненко243-2542025-11-10Аннотация ▼Предлагается новый метод генерации шума по зашумленным изображениям без необходимости использования выровненных пар чистых и зашумленных данных. В отличие от традиционных подходов, требующих наличия согласованных наборов изображений или априорных моделей шума, разрабатываемый метод позволяет моделировать сложные характеристики шума, присущие конкретным КМОП‑сенсорам, основываясь исключительно на наблюдаемых зашумленных данных. Для синтеза шума используется генеративно‑состязательная архитектура
U-Net-подобного типа, построенная на базе StyleGANv2 с модифицированным дискриминатором, учитывающим параметры камеры и исходных изображений. Основное внимание уделяется сохранению пространственно‑цветовой структуры изображения при генерации шума, что достигается введением специализированной функции потерь, сохраняющей характеристики цветопередачи и текстурных деталей. Предлагаемый подход позволяет обучать генератор шума в условиях полного отсутствия пар чистых и зашумленных изображений, что особенно актуально при работе с реальными данными, полученными с различных камер и в различных условиях освещения. В экспериментальной части проведен подробный сравнительный анализ качества синтезированных изображений по метрикам PSNR и SSIM, а также оценка распределения шума на основе статистических характеристик интенсивности и спектрального состава. Демонстрируется, что синтезированный набор изображений, созданный предложенным методом, может эффективно использоваться как самостоятельный тренировочный корпус для нейросетей подавления шума, а также в комбинации с реальным набором SIDD для повышения точности моделей подавления шума. Результаты показали, что комбинированное обучение на объединенном множестве сгенерированных и реальных примеров обеспечивает рост среднего PSNR на 1.5 дБ по сравнению с существующими методами, основанными на выровненных данных. При этом отсутствует зависимость от специфических оптических характеристик конкретного сенсора камеры, что существенно расширяет область применения разработанного метода. Полученные результаты подтверждают применимость предложенного подхода в задачах синтеза и подавления реалистичного шума в условиях отсутствия чистых эталонных изображений, а также открывают перспективы для дальнейших исследований в направлении адаптивной генерации шумовых моделей. -
ОПТИМИЗАЦИЯ ВЫЧИСЛИТЕЛЬНОЙ СХЕМЫ ИНТЕРПОЛЯЦИИ ДЕКАДНЫХ МЕТЕОРОЛОГИЧЕСКИХ ДАННЫХ МЕТОДОМ ОБРАТНОГО ВЗВЕШИВАНИЯ ПО РАССТОЯНИЮ С ПАРАЛЛЕЛЬНОЙ ОБРАБОТКОЙ МНОЖЕСТВЕННЫХ ВРЕМЕННЫХ СРЕЗОВ
О.М. Голозубов , А.В. Козловский , Э.В. Мельник , Я.Э. Мельник , А.Н. Самойлов22-322025-12-30Аннотация ▼Настоящее исследование посвящено решению проблемы вычислительной неэффективности при пространственной интерполяции больших массивов декадных метеорологических данных с использованием метода обратного взвешивания по расстоянию. Традиционные подходы, предполагающие последовательную и независимую обработку каждого временного среза, демонстрируют линейный рост времени выполнения и значительное потребление оперативной памяти, что становится критическим барьером для оперативного построения детализированных и географически привязанных растровых полей в формате GeoTIFF. Это существенно ограничивает применение метода в задачах, требующих быстрой обработки многолетних архивов данных. Целью данной работы является разработка и валидация оптимизированной вычислительной схемы, позволяющей радикально сократить временные затраты при сохранении полноты и точности результатов. Ключевая научная новизна предложенного подхода заключается в фундаментальном переосмыслении вычислительного процесса. Вместо многократного повторения идентичных операций, предложена схема, основанная на однократном расчете полного вектора геодезических расстояний от каждой ячейки растра до всех метеостанций. Эта наиболее ресурсоемкая операция выполняется лишь один раз. В дальнейшем, полученный вектор расстояний применяется ко всем временным срезам (декадам) для вычисления интерполированных значений, что устраняет основную вычислительную избыточность и обеспечивает сублинейную зависимость времени обработки от числа декад. Для дальнейшего повышения производительности применяется механизм параллельной обработки на уровне центрального процессора, реализованный посредством динамического разделения растра на независимые вычислительные блоки (батчи). Размер батчей адаптивно регулируется с учетом доступной оперативной памяти, что гарантирует стабильность и масштабируемость решения на системах различной мощности. Апробация метода на реальных метеорологических данных за период 2015-2024 годов продемонстрировала радикальное сокращение времени выполнения. В частности, обработка десяти декадных временных срезов на стандартном ноутбуке занимает менее 3,5 минут, а на серверной платформе – около 3 минут, что представляет собой многократное ускорение по сравнению с традиционными реализациями. Таким образом, разработанное решение делает оперативную обработку больших пространственно-временных метеорологических массивов реальностью для широкого круга исследователей, открывая новые возможности для климатического мониторинга, агрометеорологии и геоинформационного анализа без необходимости привлечения специализированного дорогостоящего оборудования.
-
СОВРЕМЕННЫЕ ПОДХОДЫ К МОНИТОРИНГУ И ПРОГНОЗИРОВАНИЮ ПРИРОДНЫХ ПОЖАРОВ: ОБЗОР И КОНЦЕПЦИЯ АВТОНОМНОЙ СИСТЕМЫ НА БАЗЕ БПЛА
Н.Д. Болдырев , В. В. Гилка , А.С. Кузнецова , Д.А. Морозов58-802025-12-30Аннотация ▼Природные пожары ежегодно наносят серьёзный урон экосистемам, экономике и безопасности населения, а своевременное обнаружение возгораний и прогнозирование их развития повышает оперативность реагирования на угрозу и позволяет оптимально распределять ресурсы при ликвидации чрезвычайных ситуаций (ЧС). Существующие методы мониторинга ограничены скоростью обнаружения очагов возгорания и оперативностью их дальнейшего распростанения, что снижает эффективность действий спасательных служб. Для решения данной проблемы могут использоваться гетерогенные источники данных, включая беспилотные летательные аппараты (БПЛА), распределённые датчиковые сети, мобильные комплексы полевого наблюдения, наземные тепловизионные станции и т.д., которые могут способствовать проведению более точного анализа текущей обстановки и повышению достоверности прогнозных моделей распространения пожаров. Целью исследования стала разработка концепции автоматизированного подхода к мониторингу и прогнозированию природных пожаров на основе беспилотных летательных аппаратов. Мы считаем, что такой подход сумеет повысить оперативность обнаружения очагов возгорания и точность прогнозирования их распространения. Задачи включают анализ существующих методов мониторинга, формирование концепции системы, интегрирующей многоспектральную съёмку, оптимизированную передачу данных, автоматическую сегментацию и прогнозирование на основе машинного обучения, а также обеспечивающей взаимодействие оператора и специалистов по оповещению. В работе использовались методы сбора, анализа и передачи данных с БПЛА, обработка многоспектральных изображений, машинное обучение и нейронные сети для детекции очагов возгорания, алгоритмы сегментации изображений и имитационное моделирование для прогнозирования распространения огня, визуализация данных для поддержки принятия решений оператором и администратором, логирование и анализ результатов для обучения моделей, программная инженерия и технологии человеко-машинного взаимодействия. Система сократит время обнаружения и прогнозирования пожаров, предоставит возможность оператору запускать несколько дронов одновременно и автоматизирует обработку получаемых с них данных. Автоматизация процессов позволит сократить время реакции на ЧС и численность персонала, улучшить распределение ресурсов, повысить точность прогнозов и своевременность информирования экстренных служб. Это поможет снизить ущерб от природных пожаров и повысить безопасность населения и экосистем. Несмотря на существующие успехи, достигнутые в решении этой задачи, комплексная система, концепция которой описывается в данной статье, пока не существует в полной мере ни в России и странах СНГ, ни в западных и азиатских странах. Хотя отдельные компоненты, такие как БПЛА для мониторинга и искусственный интеллект (ИИ) для анализа данных, уже активно используются, интегрированного решения, которое бы объединяло все элементы (управление дронами, прогнозирование распространения огня в режиме, приближенном к реальному времени, передача данных и взаимодействие с экстренными службами), на данный момент нет. Эта концепция представляет собой новый подход, который может стать прорывной технологией для борьбы с природными катастрофами
1 - 13 из 13 результатов
