ОЦЕНКА ЭФФЕКТИВНОСТИ МЕТОДА ПОИСКА АССОЦИАТИВНЫХ ПРАВИЛ ДЛЯ ЗАДАЧ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ

Аннотация

Объемы современных баз данных имеют значительные объемы и содержат большие массивы информации. Одним из популярных методов обнаружения знаний для задач обработки и анализа больших данных стали алгоритмы поиска ассоциативных правил. В статье решается задача построения баз ассоциативных правил для анализа представленной большими массива- ми неструктурированных данных на основе поиска в них различных закономерностей с учетом значимости их признаков. Предложен метод синтеза баз ассоциативных правил, в котором выполняется построение транзакционной базы данных на основе вычисления пороговых значе- ний поддержки и применением критериев оценивания косвенных ассоциаций, что позволяет извлекать как частые, так и неявные наборы ассоциативных правил. С целью повышения вы- числительной эффективности извлечения ассоциативных правил, применяется генетический алгоритм оптимизации входных параметров признакового пространства поиска. Метод позво- ляет улучшить время извлечения правил, сократить число сгенерированных обобщенных правил, избежать затратной процедуры предобработки синтезированной базы правил. Разработан программно-алгоритмический модуль, с помощью которого проведены экспериментальные исследования метода синтеза ассоциативных правил на основе фильтрации входных парамет- ров модели поиска для решения задач обработки неструктурированных данных. Проведенные серии экспериментов на тестовых транзакционных базах данных позволили уточнить теоре- тические оценки временной сложности метода, в котором для вычисления взвешенной под- держки наборов правил с учетом оценки априорной информативности признаков, входящих в данный набор применяется генетический алгоритм. Временная сложность разработанного метода составляет  О(I2). Сравнительной анализ проводился на тестовых данных корпуса Retail Data с алгоритмами Apriori и Frequent Pattern-Growth. Результаты исследований под- твердили эффективность метода поиска на больших наборах транзакций, позволяющего более чем на 40 % уменьшить мощность неизбыточного множества извлеченных ассоциативных правил по сравнению с известными алгоритмами и показали перспективность его применения для задачи обнаружения знаний при обработке данных большого объема.