СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ ВЕКТОРИЗАЦИИ ТЕКСТОВЫХ ДАННЫХ БОЛЬШОЙ РАЗМЕРНОСТИ

Аннотация

Представленная публикация посвящена обзору проблемы представления текстовой информации для последующего осуществления кластерного анализа в рамках обработки и управления информации большой размерности. Современные требования предъявляемые к аналитическим, поисковым и рекомендательным информационным системам демонстри- руют слабую сформированность целостного решения, способного обеспечить достаточ- ный уровень быстродействия и качества получаемых результатов в рамках функциониро- вания текущего рынка информационных технологий. Поиск решения представленной про- блемы влечет за собой необходимость в проведении объективного анализа существующих решений представления текстовой информации в векторном пространстве, с целью фор- мирования целостного представления о достоинствах и недостатках анализируемых под- ходов, а также формированием критериев, позволяющих реализовать собственный под- ход, лишенный выявленных слабостей. Представленная работа является аналитической, и позволяет получить представление о современном состоянии и проработанности выявлен- ной проблемы в рамках ограниченной предметной области. Кластеризация текстовых данных – автоматическое формирование подмножеств, элементами которых выступают экземпляры документов некоторой исследуемой, неструктурированной выборки фиксиро- ванной размерности. Данный процесс можно классифицировать как обучения без учителя, предполагающее, отсутствие эксперта, собственноручно присваивающего исходной вы- борке документов индексы классов. Однако, осуществление кластерного анализа тексто- вых данных без какой-либо предварительной обработки – невозможно. Для этого необхо- димо обеспечить стандартизацию и приведение входных данных к единому формату и виду. В рамках данного этапа осуществления кластерного анализа, в представленной пуб- ликации рассматриваются методы предварительной обработки текстовых данных. Но- визна представленной публикации заключается в формировании теоретического базиса основных методов векторизации текстовых данных, путем систематизации и объективизации выдвинутых предположений, путем проведения серии экспериментальных исследо- ваний. Основным отличием данной работы от уже опубликованных научных трудов явля- ется систематизации и анализ современных решений, а также выдвижение гипотезы об актуальности и эффективности собственного гибридизированного подхода предназначен- ного для векторизации текстовых данных