ВЕКТОРИЗАЦИЯ ТЕКСТА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ

Аннотация

В задачах интеллектуального анализа текста текстовое представление должно быть не только эффективным, но и интерпретируемым, поскольку это позволяет понять операционную логику, лежащую в основе моделей интеллектуального анализа данных. Тра- диционные методы векторизации текста, такие как TF-IDF и Bag-of-words, эффективны и имеют интуитивно понятную интерпретируемость, но страдают от «проклятия раз- мерности» и не могут понимать смысл слов. С другой стороны, современные распределен- ные методы эффективно определяют скрытую семантику, но требуют больших вычисли- тельных ресурсов и времени, а также им не хватает интерпретируемости. В этой ста- тье предлагается новый метод векторизации текстов под названием Bag of weighted Concepts BoWC, который представляет документ в соответствии с содержащейся в нем ин- формацией о концептах. Предлагаемый метод создает концепты посредством кластери- зации векторов слов (т.е. встраивания слов), и использует частоты этих кластеров концептов для представления векторов документов. Чтобы обогатить итоговое представле- ние документа, предлагается модифицированная весовая функция для взвешивания кон- цептов на основе статистики, извлеченной из информации вложений слов. Векторы, сге- нерированные с помощью предложенного метода, характеризуются интерпретируемо- стью, низкой размерностью, высокой точностью, а также низкими вычислительными затратами при использовании в задачах классификации и кластеризации. Предлагаемый метод протестирован на пяти различных наборах эталонных данных для кластеризации и классификации текстовых документов и сравнивается с несколькими базовыми методами, включая Bag-of-words, TF-IDF, Averaged GloVe, Bag-of-Concepts и VLAC. Результаты пока- зывают, что BoWC превосходит большинство базовых методов и дает в среднем на 7 % лучшую точность.