МЕТОДЫ И АЛГОРИТМЫ КЛАСТЕРИЗАЦИИ ТЕКСТОВЫХ ДАННЫХ (ОБЗОР)
Аннотация
Рассматривается одна из важных задач искусственного интеллекта – машинная об- работка естественного языка. Решение данной задачи на основе кластерного анализа по- зволяет выявлять, формализовывать и интегрировать большие объемы лингвистической экспертной информации в условиях информационной неопределенности и слабой структу- рированности исходных текстовых ресурсов, полученных из различных предметных облас- тей. Кластерный анализ является мощным средством разведочного анализа текстовых данных, позволяющий провести объективную классификацию любых объектов, которые охарактеризованы рядом признаков и имеют скрытые закономерности. Проведен обзор и анализ современных модифицированных алгоритмов агломеративной кластеризации CURE, ROCK, CHAMELEON, неиерархической кластеризации PAM, CLARA и алгоритма аффинно- го преобразования, используемых на различных этапах кластеризации текстовых данных, эффективность которых проверяется экспериментальными исследованиями. В работе обоснованы требования к выбору наиболее эффективного метода кластеризации для ре- шения задачи повышения эффективности интеллектуальной обработки лингвистической экспертной информации. Также в работе рассмотрены способы визуализации результатов кластеризации для интерпретации кластерной структуры и зависимостей на множестве элементов текстовых данных и графические средства их представления в виде дендо- грамм, диаграмм рассеивания, диаграмм сходства VOS и карт интенсивности. Для сравне- ния качества работы алгоритмов использовались внутренние и внешние метрики эффек- тивности: «V-мера», «Adjusted Rand index», «Силуэт». На основании проведенных экспери- ментов выявлено, что необходимо использовать гибридный подход, в котором для перво- начального выбора числа кластеров и распределения их центров использовать иерархиче- ский подход, основанный на последовательном объединении и максимизации близости дан- ных ограниченной выборки, когда нет возможности выдвинуть гипотезу о начальном ко- личестве кластеров. Далее подключать алгоритмы итерационной кластеризации, обеспе- чивающие высокую устойчивость по отношению к шумовым признакам и наличию выбро- сов. За счет гибридизации повышается эффективность работы алгоритмов кластериза- ции. Результаты исследований показали, что для повышения вычислительной эффективно- сти и преодоления чувствительности при инициализации параметров алгоритмов класте- ризации для оптимизации параметров модели обучения и поиска глобального оптимального решения необходимо использовать метаэвристические подходы.
