Найти

Результаты поиска

• МЕТОДЫ ГЛУБОКОГО ОБУЧЕНИЯ ДЛЯ ОБРАБОТКИ ТЕКСТОВ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ

  В. В. Курейчик , С. И. Родзин , В.В. Бова

  2022-05-26

  Аннотация ▼

  Представлен анализ подходов, основанных на глубоком обучении (DL), к задачам об-
  работки естественного языка (NLP). Исследование охватывает различные задачи NLP,
  реализованные с помощью искусственных нейронных сетей (ANNs), сверточных нейронных
  сетей (CNNs) и рекуррентных нейронных сетей (RNNs). Эти архитектуры позволяют ре-
  шать широкий спектр задач обработки естественного языка, ранее не поддававшихся
  эффективному решению: моделирование предложений, маркировка семантической роли,
  распознавание именованных сущностей, ответы на вопросы, категоризация текста, ма-
  шинный перевод. Наряду с преимуществами использования CNN для решения задач NLP
  имеются проблемы, связанные с большим числом варьируемых параметров сети и выбором
  ее архитектуры. Мы предлагаем для оптимизации архитектур сверточных нейронных
  сетей эволюционный алгоритм. Алгоритм инициализирует случайную популяцию из малого
  числа агентов (не более 5) и с помощью фитнесс функции получает оценки каждого агента
  в популяции. Затем проводится турнирная селекция между всеми агентами и применяется
  оператор кроссинговера между выбранными агентами. Алгоритм обладает таким пре-
  имуществом как малый размер популяции сетей, он использует несколько типов слоев
  CNN: сверточный слой, максимальный слой пулинга (субдискретизации), средний слой пу-
  линга и полносвязный слой. Алгоритм тестировался на локальном компьютере с графиче-
  ским процессором ASUS Cerberus GeForce ® GTX 1050 Ti OC Edition 4 ГБ GDDR5, 8 ГБ
  оперативной памяти и процессором Intel(R) Core(TM) i5-4670. Результаты экспериментов
  показали, что предлагаемый нейроэволюционный подход способен достаточно быстро
  найти оптимизированную архитектуру CNN для заданного набора данных с приемлемым
  значением точности. Для завершения выполнения алгоритма потребовалось около 1 часа.
  Для создания и обучения CNN был использован популярный фреймворк TensorFlow.
  Для оценки алгоритма использовались общедоступные наборы данных: MNIST и MNIST-RB.
  Наборы содержали черно-белые изображения рукописных букв и цифр с 50000 обучающими
  образцами и 10000 тестовыми образцами.