Найти

Расширенные фильтры
Опубликовано после
Опубликовано до

Результаты поиска

Найден один результат.

  • ВЕКТОРИЗАЦИЯ ТЕКСТА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ

    Али Махмуд Мансур , Жуман Хуссайн Мохаммад , Ю. А. Кравченко
    2021-07-18
    Аннотация ▼

    В задачах интеллектуального анализа текста текстовое представление должно
    быть не только эффективным, но и интерпретируемым, поскольку это позволяет понять
    операционную логику, лежащую в основе моделей интеллектуального анализа данных. Тра-
    диционные методы векторизации текста, такие как TF-IDF и Bag-of-words, эффективны
    и имеют интуитивно понятную интерпретируемость, но страдают от «проклятия раз-
    мерности» и не могут понимать смысл слов. С другой стороны, современные распределен-
    ные методы эффективно определяют скрытую семантику, но требуют больших вычисли-
    тельных ресурсов и времени, а также им не хватает интерпретируемости. В этой ста-
    тье предлагается новый метод векторизации текстов под названием Bag of weighted Concepts
    BoWC, который представляет документ в соответствии с содержащейся в нем ин-
    формацией о концептах. Предлагаемый метод создает концепты посредством кластери-
    зации векторов слов (т.е. встраивания слов), и использует частоты этих кластеров концептов для представления векторов документов. Чтобы обогатить итоговое представле-
    ние документа, предлагается модифицированная весовая функция для взвешивания кон-
    цептов на основе статистики, извлеченной из информации вложений слов. Векторы, сге-
    нерированные с помощью предложенного метода, характеризуются интерпретируемо-
    стью, низкой размерностью, высокой точностью, а также низкими вычислительными
    затратами при использовании в задачах классификации и кластеризации. Предлагаемый
    метод протестирован на пяти различных наборах эталонных данных для кластеризации и
    классификации текстовых документов и сравнивается с несколькими базовыми методами,
    включая Bag-of-words, TF-IDF, Averaged GloVe, Bag-of-Concepts и VLAC. Результаты пока-
    зывают, что BoWC превосходит большинство базовых методов и дает в среднем на 7 %
    лучшую точность.

1 - 1 из 1 результатов