АЛЬТЕРНАТИВНЫЕ ГИБРИДНЫЕ СТРУКТУРЫ ДЛЯ ПОВЫШЕНИЯ ВЫЧИСЛИТЕЛЬНОЙ ЭФФЕКТИВНОСТИ РЕАЛИЗАЦИИ НЕЙРОННЫХ СЕТЕЙ ГЛУБОКОГО ОБУЧЕНИЯ
Ключевые слова:
Искусственные нейронные сети, глубокое обучение, теория грануляции, пространственные гранулы, высокопроизводительные вычисления, вычислительный интеллектАннотация
Предлагается новый подход к организации вычислительных структур слоев и меж-
слойных связей при построении искусственных нейронных сетей для решения широкого
круга задач обработки многомерных данных. Основной проблемой построения сетей глубо-
кого обучения является необходимость введения большого количества параметров обуче-
ния сети. Имеющиеся рабочие экземпляры таких сетей содержат миллиарды параметров,
что позволяет достигать высокой эффективности применения таких сетей. Обратной
стороной такой широко используемой структуры сетей в виде многослойных сверточных
структур являются высокие затраты на обучение сетей с большим количеством струк-
турно схожих слоев свертки методом обратного распространения. Решение проблемы
повышения эффективности таких многослойных структур может быть найдено в приме-
нении гибридных слоев, реализующих операции гранулирования данных, которые были раз-
виты в наших работах. В новых гибридных моделях вместо векторных значений парамет-
ров обучения используются матричные информационные элементы, позволяющие кодиро-
вать подмножества значений данных (информационные гранулы) вместо кодирования
отдельных точек данных, как в классических сверточных сетях. Предложенные гибридные
слои обучаются без учителя и допускают параллельную реализацию алгоритмов обучения,
что принципиально отличается от последовательных алгоритмов обратного распростра-
нения. В результате вычислительная эффективность применения подобных гибридныхнейросетей может быть существенно повышена. Предлагаемый в работе теоретический
подход к моделированию и оптимизации структур сетей глубокого обучения может быть
распространен на широкий круг задач вычислительного интеллекта.
